本书以大数据处理技术涉及的主要流程为主线，深入浅出地介绍大数据相关的基础知识。本书条理清晰、重点突出，内容循序渐进、难易得当。全书共7章，内容包括大数据概述，大数据采集，大数据存储与管理，大数据分析，数据可视化，数据安全、隐私保护与开放共享，以及大数据技术应用实例。本书还设置了实训和课后习题，通过练习和操作实践，帮助读者巩固所学的内容。
介绍城市管理、金融领域、互联网领域、零售行业方面的多个项目案例，覆盖面广，案例丰富
围绕大数据技术流程次第展开，层次分明，着重于解决问题的思路启发与解决方案的实施
以实例引入的方式引出技术内容，通俗易懂，新颖独特
融入了思政元素
林涛，上海应用技术大学副教授，主要研究方向为人工智能与物联网，从事机器视觉和智能感知相关的研究，曾参与华为手机芯片研发，主持开发了基于无线互联网的冷链疫苗监控系统，无人机智能故障检测系统等，合作参与了自动驾驶相关的若干项目。教授《人工智能导论》，《人工神经网络》，《深度学习及其应用》等课程。发表多篇SCI论文《Structured deep learning based object-specific distance estimation from a monocular image》，《Multi-state Feature Optimization of Sign Glosses for Continuous Sign Language Recognition》
张良均，资深大数据专家，广东泰迪智能科技股份有限公司董事长，国家科技部入库技术专家，教育部全国专业学位水平评估专家，工信部教育与考试中心入库专家，中国工业与应用数学学会理事，广东省工业与应用数学学会副理事长，广东省高等职业教育教学指导委员会委员，华南师范大学、中南财经政法大学等40余所高校校外硕导或兼职教授，泰迪杯全国数据挖掘挑战赛发起人。曾在国内外重要学术刊物上发表学术论文10余篇，主导编写图书专著60余部，其中获普通高等教育“十一五”规划教材一部，“十三五”职业教育国家规划教材一部；参与标准建设4项，主持国家级课题1项、省部级课题4项。获得SAS、SPSS数据挖掘认证及Hadoop开发工程师证书，具有信访、电力、电信、银行、制造企业、电子商务和电子政务的项目经验和行业背景，并荣获中国产学研合作促进奖、中国南方电网公司发明专利一等奖、广东省农业技术推广二等奖、广州市荔湾区科学技术进步奖。
第 1章 大数据概述 1
1.1 实例引入：三次信息化浪潮迎来大数据时代 1
1.1.1 信息时代数据爆炸 2
1.1.2 三次信息化浪潮 2
1.1.3 大数据的发展 3
1.1.4 大数据带来思维模式的改变 4
1.1.5 大数据的特点 5
1.2 大数据产业发展概况 6
1.2.1 大数据产业发展现状与市场规模 7
1.2.2 大数据产业应用领域及其应用价值 8
1.2.3 大数据市场产业链 9
1.3 大数据技术体系 9
1.3.1 数据接入 10
1.3.2 数据预处理 10
1.3.3 数据存储 10
1.3.4 数据处理 10
1.3.5 数据可视化 11
1.3.6 数据治理 11
1.3.7 安全与隐私保护 11
1.4 大数据相关岗位需求 11
小结 12
课后习题 12
第 2章 大数据采集 15
2.1 实例引入：在线旅行社的用户访问行为数据采集 15
2.1.1 用户访问行为数据分析的价值 16
2.1.2 用户访问行为数据采集方案的设计 17
2.2 大数据采集技术 20
2.2.1 了解大数据采集 20
2.2.2 大数据采集的数据来源 22
2.2.3 基于数据仓库的数据批量采集 23
2.2.4 系统日志数据采集 25
2.2.5 网络数据实时采集 28
2.3 主流的大数据采集框架 32
2.3.1 Flume 32
2.3.2 Sqoop 34
小结 37
实训 37
实训1 Flume的安装和配置 37
实训2 Sqoop的安装和配置 38
课后习题 39
第3章 大数据存储与管理 41
3.1 实例引入：从平安城市建设看海量数据存储 41
3.1.1 平安城市建设中的视频监控系统 42
3.1.2 平安城市视频监控数据的存储技术方案 42
3.2 传统的数据存储技术 44
3.2.1 了解数据存储 45
3.2.2 数据存储的数据类型 46
3.2.3 文件系统 47
3.2.4 关系数据库 48
3.2.5 数据仓库 48
3.2.6 并行数据库 48
3.3 大数据时代下的数据存储技术 49
3.3.1 分布式存储系统 49
3.3.2 云存储 52
3.4 主流的分布式存储框架 56
3.4.1 MySQL 56
3.4.2 Hive 59
3.4.3 HBase 61
3.4.4 MongoDB 64
3.4.5 Redis 67
小结 70
实训 70
实训1 MySQL的安装配置 70
实训2 Hive的安装配置 71
实训3 HBase的安装配置 72
课后习题 73
第4章 大数据分析 75
4.1 实例引入：个性化用户画像实现精准营销 75
4.1.1 大数据实现精准营销 76
4.1.2 用户画像是什么 76
4.1.3 构建个性化用户画像 77
4.2 大数据分析技术 79
4.2.1 了解数据分析与数据挖掘 79
4.2.2 数据认知 80
4.2.3 数据处理 83
4.2.4 分析建模 85
4.2.5 模型评估 88
4.3 主流的大数据分析处理框架 89
4.3.1 数据分析处理框架介绍 89
4.3.2 Hadoop 91
4.3.3 Spark 93
4.3.4 Flink 94
4.3.5 Storm 96
4.3.6 Graph 97
小结 98
实训 99
实训1 Hadoop伪分布式安装 99
实训2 Spark伪分布式安装 99
实训3 Flink的安装配置 100
课后习题 100
第5章 数据可视化 103
5.1 实例引入：某机场数据可视化大屏 103
5.1.1 大屏显示的应用领域和行业 104
5.1.2 机场数据可视化大屏设计 104
5.2 数据可视化图形设计指南 105
5.2.1 了解数据可视化 105
5.2.2 数据可视化的发展方向 106
5.2.3 基础图表 110
5.2.4 一般的数据可视化图形设计流程 111
5.3 数据可视化主要技术 112
5.3.1 根据可视化目标分类 113
5.3.2 根据大数据特点分类 115
5.4 主流的数据可视化工具 117
5.4.1 数据可视化类库 118
5.4.2 BI类 120
小结 123
实训 123
实训1 ECharts的安装配置 123
实训2 FineBI的安装配置 124
课后习题 125
第6章 数据安全、隐私保护与开放共享 128
6.1 实例引入：菜鸟平台共享物流信息 128
6.2 数据安全与隐私 130
6.2.1 大数据安全概述 130
6.2.2 大数据安全与隐私保护技术体系架构 130
6.3 大数据安全及隐私保护关键技术 132
6.3.1 数据安全技术 132
6.3.2 个人隐私保护技术 135
6.4 数据开放与共享 136
6.4.1 数据开放与共享的概念 136
6.4.2 数据开放与共享的意义 137
6.4.3 数据开放与共享实施指南 137
小结 138
课后习题 138
第7章 大数据技术应用实例 141
7.1 大数据技术在城市管理中的应用 141
7.1.1 城市公交用户出行分析 142
7.1.2 环保监测 148
7.2 大数据技术在金融领域的应用 150
7.2.1 股票价格涨跌趋势预测 150
7.2.2 上市公司综合能力聚类分析 153
7.3 大数据技术在互联网领域的应用 156
7.3.1 电子商务营销 156
7.3.2 音乐推荐系统 157
7.4 大数据技术在零售行业的应用 160
7.4.1 购物篮分析 160
7.4.2 客户价值分析 164
7.4.3 供应链管理 167
小结 170
课后习题 171
参考文献 174
书单推荐
