新書推薦：
《
假努力：方向不对，一切白费
》
售價：NT$
335.0
《
北京三万里
》
售價：NT$
437.0
《
争吵的恋人：我们为什么相爱，又为什么争吵
》
售價：NT$
330.0
《
秘史：英国情报机构的崛起
》
售價：NT$
381.0
《
李鸿章及其时代：中西方世界的历史撞击
》
售價：NT$
330.0
《
剑桥罗马骑士等级史（历史学堂）
》
售價：NT$
1277.0
《
脉络：小我与大势
》
售價：NT$
484.0
《
权势转移：近代中国的思想与社会（修订版）
》
售價：NT$
435.0
|
| 編輯推薦： |
聚焦大数据关键技术要点，详解数据采集与数据预处理理论与技术
介绍主流数据采集工具(Flume、Kafka、日志易、Scribe、Scrapy框架等)，及主流数据预处理工具(Python、Kettle、Pig、OpenRefine)的应用
随书提供全套教学课件、教学大纲、授课计划、数据集、源代码等教学资源
|
| 內容簡介： |
本书重点介绍了数据采集和数据预处理的相关理论与技术。全书共9章，主要包括数据采集与预处理概述，大数据开发环境的搭建，使用Flume采集系统日志数据，使用Kafka采集系统日志数据，其他常用的系统日志数据采集工具，使用网络爬虫采集Web数据，Python数据预处理库的使用，使用ETL工具Kettle进行数据预处理，以及其他常用的数据预处理工具。本书在第2章至第9章安排了丰富的实践操作，实现了理论与实践的有机结合，帮助读者更好地学习和掌握数据采集与预处理的关键技术。
本书可以作为高等院校大数据专业的大数据课程教材，也可以作为计算机相关专业的专业课或选修课教材，同时也可以作为从事大数据相关专业的工作人员的参考用书。
|
| 關於作者： |
|
安俊秀，成都信息工程大学教授，访问学者，硕士生导师。软件自动生成与智能服务四川省 学术带头人(知识本体和大数据方向)。并行计算与大数据研究所负责人。长期从事数据科学与大数据技术相关的研究与教学工作，已发表研究领域相关论文40余篇，主编大数据与人工智能方面专著或教材10余部。
|
| 目錄：
|
目 录
出版说明
前言
第1章 数据采集与预处理概述1
1.1 大数据简介1
1.1.1 数据的概念、类型、组织形式1
1.1.2 大数据的概念、特点与作用3
1.1.3 大数据的技术应用4
1.2 数据分析简介5
1.2.1 数据分析的基本流程5
1.2.2 数据分析的方法与技术6
1.3 数据采集简介8
1.3.1 数据采集的三大方式及工具8
1.3.2 数据采集的应用场景11
1.4 数据预处理简介12
1.4.1 数据预处理的目的与意义13
1.4.2 数据预处理的流程13
1.4.3 数据预处理的工具介绍15
习题17
第2章 大数据开发环境的搭建18
2.1 安装Python与JDK18
2.1.1 Java和Python概述18
2.1.2 Python的安装与配置19
2.1.3 JDK的安装与配置20
2.1.4 Python与Java的IDE介绍21
2.2 MySQL数据库的安装与配置22
2.2.1 SQL概述22
2.2.2 安装MySQL数据库23
2.2.3 MySQL数据库的基本使用24
2.3 Hadoop的安装与配置26
2.3.1 单节点环境26
2.3.2 伪分布式环境27
2.3.3 节点间免密通信28
2.3.4 Hadoop的启动和测试29
2.4 在Hadoop集群上运行
WordCount31
2.4.1 运行Java版本WordCount实例31
2.4.2 运行Python版本WordCount
实例33
习题36
第3章 使用Flume采集系统日志
数据37
3.1 Flume概述37
3.2 Flume的安装运行38
3.3 Flume的核心组件38
3.3.1 Agent39
3.3.2 Source40
3.3.3 Sink40
3.3.4 Channel40
3.3.5 Event41
3.4 Flume拦截器与选择器41
3.4.1 Flume内置拦截器41
3.4.2 自定义拦截器46
3.5 Flume负载均衡与故障转移49
3.6 实践案例：使用Flume采集数据
上传到HDFS52
习题54
第4章 使用Kafka采集系统日志
数据55
4.1 Kafka概述55
4.1.1 消息队列55
4.1.2 Kafka的特点56
4.1.3 Kafka与Flume的区别57
4.2 Kafka的安装部署57
4.2.1 集群规划57
4.2.2 安装Zookeeper57
4.2.3 安装Kafka59
4.3 Kafka的基本架构60
4.3.1 Kafka的消息系统60
4.3.2 Producer与Consumer60
4.3.3 主题与分区61
4.3.4 Broker与Kafka集群61
4.3.5 Zookeeper在Kafka中的作用62
4.4 实践案例：使用Kafka采集本地
日志数据63
4.5 实践案例：Kafka与Flume结合
采集日志数据65
习题67
第5章 其他常用的系统日志数据采集
工具68
5.1 Scribe68
5.1.1 Scribe简介68
5.1.2 Scribe的配置文件68
5.1.3 实践案例：使用Scribe采集系统
日志数据70
5.2 Chukwa71
5.2.1 Chukwa简介71
5.2.2 Chukwa架构与数据采集72
5.2.3 实践案例：使用Chukwa采集系统
日志数据74
5.3 Splunk75
5.3.1 Splunk概述75
5.3.2 Splunk的安装与基本使用75
5.3.3 实践案例：使用Splunk采集系统
日志数据77
5.4 日志易80
5.4.1 日志易的特点80
5.4.2 注册日志易账号81
5.4.3 实践案例：使用日志易采集搜索
本地日志文件82
5.5 Logstash90
5.5.1 Logstash简介90
5.5.2 Logstash的工作原理90
5.5.3 Logstash安装与部署90
5.5.4 实践案例：使用Logstash采集并
处理系统日志数据91
5.5.5 实践案例：使用Logstash将数据
导入Elasticsearch93
5.6 Fluentd94
5.6.1 Fluentd简介95
5.6.2 Fluentd的安装与配置95
5.6.3 Fluentd的基本命令96
5.6.4 实践案例：使用Fluentd采集系统
日志数据97
习题99
第6章 使用网络爬虫采集Web
数据100
6.1 网络爬虫概述100
6.1.1 网络爬虫的基本原理100
6.1.2 网络爬虫的类型100
6.2 网络爬虫基础101
6.2.1 网络爬虫的基本爬取方式101
6.2.2 使用正则表达式进行字符串
匹配103
6.2.3 使用解析库解析网页104
6.2.4 Ajax数据的爬取106
6.2.5 使用selenium抓取动态渲染
页面106
6.3 常见的网络爬虫框架107
6.3.1 Scrapy框架107
6.3.2 WebMagic框架110
6.3.3 Crawler4j框架111
6.3.4 WebCollector框架113
6.4 实践案例：使用Scrapy爬取电商
网站数据114
习题118
第7章 Python数据预处理库的使用119
7.1 Python与数据分析119
7.1.1 Python的特点119
7.1.2 为何使用Python进行数据分析120
7.2 NumPy：数组与向量计算120
7.3 Pandas：数据结构化操作123
7.4 SciPy：科学化计算127
7.5 Matplotlib：数据可视化130
7.6 实践案例：使用Python预处理
旅游路线数据137
习题143
第8章 使用ETL工具Kettle进行
数据预处理144
8.1 Kettle概述144
8.2 Kettle的安装与配置144
8.3 Kettle的基本使用145
8.3.1 Kettle的使用界面145
8.3.2 新建转换与任务146
8.3.3 数据获取149
8.3.4 数据清洗与转换156
8.3.5 数据迁移和装载160
8.4 实践案例：使用Kettle处理某
电商网站数据163
习题167
第9章 其他常用的数据预处理工具168
9.1 Pig168
9.1.1 Pig概述168
9.1.2 Pig的安装和配置169
9.1.3 Pig Latin的基本概念170
9.1.4 使用Pig进行数据预处理176
9.2 OpenRefine182
9.2.1 OpenRefine概述183
9.2.2 OpenRefine创建项目183
9.2.3 OpenRefine的基本使用186
9.3 实践案例：使用Pig和
OpenRefine预处理
|
| 內容試閱：
|
前 言
随着大数据技术研究和应用的快速发展，全球数据呈爆炸性增长，信息技术产业和应用格局正发生着重大变革，人们采集、存储和处理数据的能力也大幅提升。数据作为一种新的战略资源，对社会各个领域产生了深刻影响。“用数据来说话、用数据来管理、用数据来决策、用数据来创新”是这个时代的鲜明特征，对数据从产生、采集、分析到利用都提出了前所未有的新要求。
数据分析的全流程包括数据采集与预处理、数据存储与管理、数据处理与分析、数据可视化等。从市场上现有的教材来看，数据采集与预处理相关领域的教材还非常缺乏。这是编者撰写本书的原因。
本书侧重于介绍大数据关键技术中的数据采集和数据预处理技术。本书可作为入门教材，用于高年级本科生和研究生的大数据课程，以及供从事相关工作、对这些技术的应用感兴趣的技术人员参考。在学习本书的内容之前，读者需要具备一定的计算机体系结构和计算机编程语言的基础知识。
本书为了尽量完整地介绍数据采集和数据预处理的相关理论与技术，同时考虑到课程内容应精简、凝练，编者将本书划分为9章，各章节主要内容如下。
第 1 章数据采集与预处理概述，概要性地介绍大数据、数据分析、数据采集以及数据预处理，并对本书内容进行了概述。
第 2 章大数据开发环境的搭建，包括Python、JDK、MySQL、Hadoop的安装和使用方法，为后续章节提供了实验操作基础。
第 3 章使用Flume采集系统日志数据，介绍日志采集系统Flume的原理、安装和使用方法，最后通过实践案例—使用Flume采集数据上传到HDFS帮助读者更好地学习和掌握。
第 4 章使用Kafka采集系统日志数据，介绍分布式消息系统Kafka的原理、安装和使用方法，最后通过实践案例—Kafka与Flume结合采集日志数据帮助读者更好地学习和掌握。
第 5 章其他常用的系统日志数据采集工具，介绍其他常用的系统日志数据采集工具的安装与配置，如Scribe、Chukwa、Splunk等，介绍了具有代表性的优秀国产日志管理工具日志易，每种系统日志数据采集工具都通过实践案例帮助读者更好地学习和掌握。
第 6 章使用网络爬虫采集Web数据，介绍网络数据采集，包括网络爬虫的概念、网页爬取与解析方法、Scrapy框架等，最后通过实践案例—使用Scrapy爬取某电商网站数据帮助读者更好地学习和掌握。
第 7 章Python数据预处理库的使用，介绍了如何使用Python进行数据预处理，并通过实践案例—使用Python预处理旅游路线数据来展示Python的应用。
第 8 章使用ETL工具Kettle进行数据预处理，介绍Kettle工具的安装和使用方法，通过实践案例—使用Kettle处理某电商网站数据帮助读者更好地学习和掌握。
第 9 章其他常用的数据预处理工具，介绍其他常用的数据预处理工具的安装与配置，如Pig、OpenRefine。每种数据预处理工具都通过实践案例帮助读者更好地学习和掌握。
本书由成都信息工程大学安俊秀教授、唐聃教授及成都信息工程大学的研究生柳源、杨林旺、万里浪、田茂云、戴宇睿共同编著。其中第1章、第9章由杨林旺、安俊秀编写，第2章、第4章由柳源、安俊秀编写，第3章由戴宇睿、柳源编写，第5章、第7章由万里浪、唐聃编写，第6章、第8章由田茂云、唐聃编写。安俊秀、柳源、杨林旺对全书进行了审校。
本书的编写和出版还得到了国家社会科学基金项目（21BSH016）的支持，同时也是四川省社会科学高水平团队“旅游大数据可视化决策研究团队”的阶段性成果。
本书还得到了信息技术应用创新工作委员会大数据工作组的支持，以及国产软件企业北京优特捷信息技术有限公司（日志易）的大力支持。在此对大数据工作组的尤晓燕、郑阳，以及优特捷公司的郝香山表示感谢！
尽管在本书的编写过程中，编者力求严谨、准确，但由于技术的发展日新月异，加之编者水平有限，书中难免存在错误和不足之处，敬请广大读者批评指正。
安俊秀
2023年5月于成都信息工程大学
|
|
購物車/收銀台(
0
) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
