新書推薦：
《
算者生存：商业分析的方法与实践
》
售價：NT$
447.0
《
共享现实：是什么让我们成为人类
》
售價：NT$
717.0
《
女佣异闻：乙一出道25周年纪念短篇集
》
售價：NT$
279.0
《
生活观察图鉴 中国常见鸟类观察图鉴
》
售價：NT$
839.0
《
父亲身份：探寻血缘之谜
》
售價：NT$
493.0
《
悠游人间 赛博朋克少女插画绘制教程
》
售價：NT$
559.0
《
“李晓鹏说中华史”系列（全二册）
》
售價：NT$
818.0
《
绿色剧变：能源大革命与世界新秩序
》
售價：NT$
386.0
|
| 編輯推薦： |
|
《大数据处理之道》分析比较了当下流行的大数据处理技术的优劣及适用场景，让读者可以根据自己的需求来选择合适的工具和方案，值得一读。
|
| 內容簡介： |
|
本书覆盖了当前大数据处理领域的热门技术，包括Hadoop、Spark、Storm、Dremel、Drill等，详细分析了各种技术的应用场景和优缺点；同时阐述了大数据下的日志分析系统，重点讲解了ELK日志处理方案；最后分析了大数据处理技术的发展趋势。本书采用幽默的表述风格，使读者容易理解、轻松掌握；重点从各种技术的起源、设计思想、架构等方面阐述，以帮助读者从根源上悟出大数据处理之道。
|
| 目錄：
|
目录
0疯狂的大数据1
0.1大数据时代1
0.2数据就是金库3
0.3让大数据活起来4
第1篇Hadoop军营
1 Hadoop一石激起千层浪7
1.1Hadoop诞生不仅仅是玩具7
1.2Hadoop发展各路英雄集结8
1.3Hadoop和它的小伙伴们10
1.4Hadoop应用场景12
1.5小结13
2 MapReduce奠定基石14
2.1MapReduce设计思想14
2.2MapReduce运行机制19
2.2.1MapReduce的组成19
2.2.2MapReduce作业运行流程20
2.2.3JobTracker解剖26
2.2.4TaskTracker解剖34
2.2.5失败场景分析42
2.3MapReduce实例分析43
2.3.1运行WordCount程序44
2.3.2WordCount源码分析45
2.4小结48
3 分布式文件系统49
3.1群雄并起的DFS49
3.2HDFS文件系统51
3.2.1HDFS 设计与架构52
3.2.2HDFS 操作与API56
3.2.3HDFS的优点及适用场景60
3.2.4HDFS的缺点及改进策略61
3.3小结62
4 Hadoop体系的四剑客63
4.1数据仓库工具Hive63
4.1.1Hive缘起何处63
4.1.2Hive和数据库的区别65
4.1.3Hive设计思想与架构66
4.1.4适用场景74
4.2大数据仓库HBase74
4.2.1HBase因何而生74
4.2.2HBase的设计思想和架构77
4.2.3HBase优化技巧84
4.2.4HBase和Hive的区别86
4.3Pig编程语言87
4.3.1Pig的缘由87
4.3.2Pig的基本架构88
4.3.3Pig与Hive的对比90
4.3.4Pig的执行模式90
4.3.5Pig Latin语言及其应用91
4.4协管员ZooKeeper96
4.4.1ZooKeeper是什么96
4.4.2ZooKeeper的作用97
4.4.3ZooKeeper的架构98
4.4.4ZooKeeper的数据模型100
4.4.5ZooKeeper的常用接口及操作102
4.4.6ZooKeeper的应用场景分析105
4.5小结108
5 Hadoop资源管理与调度110
5.1Hadoop调度机制110
5.1.1FIFO111
5.1.2计算能力调度器111
5.1.3公平调度器113
5.2Hadoop YARN资源调度114
5.2.1YARN产生的背景114
5.2.2Hadoop YARN的架构116
5.2.3YARN的运作流程118
5.3Apache Mesos资源调度120
5.3.1Apache Mesos的起因120
5.3.2Apache Mesos的架构121
5.3.3基于Mesos的Hadoop123
5.4Mesos与YARN对比127
5.5小结128
6 Hadoop集群管理之道129
6.1Hadoop 集群管理与维护129
6.1.1Hadoop集群管理129
6.1.2Hadoop集群维护131
6.2Hadoop 集群调优132
6.2.1Linux文件系统调优132
6.2.2Hadoop通用参数调整133
6.2.3HDFS相关配置133
6.2.4MapReduce相关配置134
6.2.5Map任务相关配置136
6.2.6HBase搭建重要的HDFS参数137
6.3Hadoop 集群监控137
6.3.1Apache Ambari监控137
6.3.2Ganglia监控Hadoop138
6.4小结138
第2篇Spark星火燎原
7 Spark宝刀出鞘141
7.1Spark的历史渊源141
7.1.1Spark的诞生141
7.1.2Spark的发展142
7.2Spark和Hadoop MapReduce对比143
7.3Spark的适用场景145
7.4Spark的硬件配置146
7.5Spark架构147
7.5.1Spark生态架构147
7.5.2Spark运行架构149
7.6小结151
8 Spark核心RDD153
8.1RDD简介153
8.1.1什么是RDD153
8.1.2为什么需要RDD154
8.1.3RDD本体的设计154
8.1.4RDD与分布式共享内存155
8.2RDD的存储级别155
8.3RDD依赖与容错157
8.3.1RDD依赖关系157
8.3.2RDD容错机制160
8.4RDD操作与接口161
8.4.1RDD Transformation操作与接口162
8.4.2RDD Action操作与接口164
8.5RDD编程示例165
8.6小结166
9 Spark运行模式和流程167
9.1Spark运行模式167
9.1.1Spark的运行模式列表167
9.1.2Local模式168
9.1.3Standalone模式169
9.1.4Spark on Mesos模式171
9.1.5Spark on YARN 模式173
9.1.6Spark on EGO 模式175
9.2Spark作业流程177
9.2.1YARN-Client模式的作业流程178
9.2.2YARN-Cluster模式的作业流程179
9.3小结181
10 Shark和Spark SQL183
10.1从Shark到Spark SQL183
10.1.1Shark的撤退是进攻183
10.1.2Spark SQL接力185
10.1.3Spark SQL与普通SQL的区别186
10.2Spark SQL应用架构187
10.3Spark SQL之DataFrame188
10.3.1什么是DataFrame188
10.3.2DataFrame的创建188
10.3.3DataFrame的使用190
10.4Spark SQL运行过程分析190
10.5小结192
11 Spark Streaming流数据处理新贵193
11.1Spark Streaming是什么193
11.2Spark Streaming的架构194
11.3Spark Streaming的操作195
11.3.1Spark Streaming的Transformation操作196
11.3.2Spark Streaming的Window操作197
11.3.3Spark Streaming的Output操作198
11.4Spark Streaming性能调优198
11.5小结200
12 Spark GraphX图计算系统201
12.1图计算系统201
12.1.1图存储模式202
12.1.2图计算模式203
12.2Spark GraphX的框架206
12.3Spark GraphX的存储模式207
12.4Spark GraphX的图运算符208
12.5小结211
13 Spark Cluster管理212
13.1Spark Cluster部署212
13.2Spark Cluster管理与监控213
13.2.1内存优化机制213
13.2.2Spark日志系统213
13.3Spark 高可用性215
13.4小结216
第3篇其他大数据处理技术
14 专为流数据而生的Storm218
14.1Storm起因218
14.2Storm的架构与组件220
14.3Storm的设计思想 222
14.4Storm与Spark的区别224
14.5Storm的适用场景225
14.6Storm的应用226
14.7小结227
15 Dremel和Drill228
15.1Dremel和Drill的历史背景228
15.2Dremel的原理与应用230
15.3Drill的架构与流程232
15.4Dremel和Drill的适用场景与应用234
15.5小结234
第4篇大数据下的日志分析系统
16 日志分析解决方案236
16.1百花齐放的日志处理技术236
16.2日志处理方案ELK238
16.2.1ELK的三大金刚238
16.2.2ELK的架构240
16.2.3ELK的组网形式242
16.3Logstash日志收集解析245
16.3.1Input Plugins及应用示例246
16.3.2Filter Plugins及应用示例248
16.3.3Output Plugins及应用示例249
16.4ElasticSearch存储与搜索250
16.4.1ElasticSearch的主要概念251
16.4.2ElasticSearch Rest API252
16.5Kibana展示253
16.6小结255
17 ELK集群部署与应用256
17.1ELK集群部署与优化256
17.1.1ELK HA集群部署256
17.1.2ElasticSearch优化257
17.2如何开发自己的插件259
17.3ELK在大数据运维系统中的应用261
17.4ELK实战应用262
17.4.1ELK监控Spark集群262
17.4.2ELK监控系统资源状态263
17.4.3ELK辅助日志
|
| 內容試閱：
|
前言
近年来，大数据已然成为IT界如火如荼的词，与云计算 并驾齐驱，成为带动IT行业发展的两列高速火车。尤其是在物联网快速发展的时代，数据已经被称为新的资源，是支撑物联网发展的基石。
那么，如何把死的数据变成真正有效的资源，成为近年来IT界人士共同思考的问题。一时间，各种大数据处理技术如井喷一般涌现。Hadoop、 Spark、Storm、Dremel、Drill等大数据解决方案争先恐后地展现出来。需要说明的是，这里所有的方案并不是一种技术，而是数种甚至数十种技术的组合。就拿Hadoop来说，Hadoop只是领头羊，关键成员还有MapReduce、HDFS、Hive、HBase、Pig、ZooKeeper等，大有八仙过海，各显神通的气势和场面。
本书首先横向总结性地阐述了各种大数据处理技术，重点从缘起缘落、设计思想、架构原理等角度剖析了各种技术，分析了各种技术的优缺点和适用场景。本书并不涉及软件的安装等，因为如何安装和使用，在网络上搜索即可，着实没有必要浪费读者的时间和金钱。在这一部分，第1篇为Hadoop军营；第2篇为Spark星火燎原；第3篇讲述了其他大数据处理技术，如Storm、Dremel、Drill等。
其次阐述了大数据下的日志分析技术。在大数据时代，日志分析方案呈现出遍地开花的景象。如果将大数据处理系统比作一个可能得病的人，那么日志分析就是负责看病的医生，要想让大数据处理系统健康、平稳地运行，日志分析和监控非常重要。这一部分重点阐述了日志分析技术中如日中天的方案ELK。
最后展望了大数据处理技术的发展趋势。大数据处理技术发展迅猛，数据量越来越大，技术的革新在所难免。
作为大数据研发人员，只有时刻学习新技术，方能立于技术前沿。
由于时间仓促，书中难免出现不足之处，恳请读者指正。本书编写过程中得到了团队其他成员的支持，贡献力量的有张帅、王占伟、李峰、欧立奇等，在此衷心感谢朋友和家人的鼎力支持。
闲言少叙，直接上干货吧！亲爱的读者朋友，请吧
|
|
購物車/收銀台(
0
) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
