- 课程概览
- 授课讲师
- 课程大纲
- 课程概览
- 授课讲师
- 课程大纲
随着时代的发展，大数据已经成为一个耳熟能详的词汇。与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop作为处理大数据的分布式存储和计算框架，得到了国内外大小型企业广泛的应用。
课程概览
通过本课程的学习，使学生学会搭建Hadoop完全分布式集群，掌握HDFS的基础操作以及掌握MapReduce程序的编写。为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。
授课讲师
课程大纲
- 第1章大数据基础
- 第1节认识大数据
- 第2节Hadoop简介和发展历程
- 第3节Hadoop特性与生态环境
- 第2章Hadoop环境配置
- 第1节安装虚拟机
- 第2节配置固定IP
- 第3节配置ssh无密码登录
- 第4节克隆虚拟机并修改配置
- 第5节配置时间同步服务
- 第6节安装Java
- 第7节Hadoop集群架构
- 第8节Hadoop集群安装与配置
- 第3章HDFS操作
- 第1节HDFS简介及架构
- 第2节HDFS管理命令
- 第3节HDFS目录基本操作
- 第4节HDFS文件基本操作
- 第4章MapReduce编程基础
- 第1节 MapReduce思想与设计构思
- 第2节MapReduce框架结构
- 第3节MapReduce单词计数原理
- 第4节 MapReduce单词计数源码分析
- 第5节搭建MapReduce开发环境
- 第6节 MapReduce单词计数编程实现
- 第7节MapReduce实现XX与YY连接
- 第8节MapReduce实现单词统计次数排序
- 第5章HDFS JAVA API
- 第1节列表目录或文件
- 第2节创建目录
- 第3节上传本地文件到HDFS
- 第4节下载HDFS文件到本地文件系统
- 第5节删除文件或目录
- 第6节读取文件内容
- 第7节 写数据到文件
- 第6章MapReduce编程进阶
- 第1节定义Partition实现用户统计结果按月存储
- 第2节键值对类型简介
- 第3节自定义键类型
- 第4节 Combiner简介及应用
- 第5节输入输出格式简介及应用
- 第6节Configuration实现参数传递
- 第7节 Configuration设置集群连接参数
- 第8节ToolRunner辅助类
| 节数 | 上课时间 | 星期一 | 星期二 | 星期三 | 星期四 | 星期五 | 星期六 | 星期天 |
|---|---|---|---|---|---|---|---|---|
| 第1节 | 08:00 - 08:40 | |||||||
| 第2节 | 09:00 - 09:40 | |||||||
| 第3节 | 10:00 - 10:40 | |||||||
| 第4节 | 11:00 - 11:40 | |||||||
| 第5节 | 14:00 - 14:40 | |||||||
| 第6节 | 15:00 - 15:40 | |||||||
| 第7节 | 16:00 - 16:40 | |||||||
| 第8节 | 17:00 - 17:40 |
| 天数 | 上课日期 | 上课时间 | 内容 |
|---|
