Spark 技术与应用

章节

教学内容

基本要求

第1章 Spark入门

（1） Spark概述

（1） 掌握Spark的基本介绍及其特点

第2章 Spark集群的安装配置

（1） Spark集群拓扑

（2） Spark安装配置

（3） 运行第一个Spark程序

（1） 掌握Spark集群拓扑结构

（2） 了解Spark集群安装配置步骤及注意点，了解必要的监控信息

（3） 了解Spark程序并运行

第3章 Spark架构及原理

（1） Spark架构

（2） Spark RDD概述

（1） 掌握Spark核心架构

（2） 了解Spark RDD知识

第4章 Spark Shell应用

（1） Spark Shell的启动

（2） RDD的创建

（3） map与flatMap算子应用

（4） sortBy与filter算子应用

（5） 交集与并集计算的算子应用

（6） 键值对RDD常用算子介绍和应用

（1） 学会在Spark Shell中创建RDD

（2） 掌握常用算子的基本知识点

（3） 掌握map与flatMap、sortBy与filter、交集与并集计算的算子应用

（4） 了解键值对RDD常用算子并掌握应用方法

第5章 Spark开发环境配置

（1） 配置Spark开发环境

（2） Spark实现单词计数

（3） 使用本地或集群模式运行Spark程序

（4） 设置应用程序使用的集群资源

（1） 学生对单词计数实现原理要有一定了解，掌握不同方式实现单词计数

（2） 掌握Spark开发环境的配置

（3） 掌握通过本地和集群两种模式运行Spark程序

第6章 Spark SQL应用

（1） Spark SQL简介和环境配置

（2） 通过多种读取方式创建DataFrame

（3） 读取Hive表数据创建RDD

（4） 常见DataFrame API应用

（5） 保存DataFrame的多种格式和途径

（6） 创建DataSet

（1） 了解Spark SQL简介并掌握Spark SQL环境配置

（2） 掌握创建DataFrame的多种读取方式

（3） 熟悉常见DataFrame API应用

（4） 掌握保存DataFrame的多种格式和途径

（5） 掌握RDD和DataSet的创建