第一天AM

大數(shù)據(jù)整體體解決方案、架構(gòu)介紹、流處理、批處理

硬件選型，操作系統(tǒng)選型

開源軟件，Hadoop生態(tài)軟件

大數(shù)據(jù)組件（開發(fā)語言介紹）

Cloudera CDH安裝及集群介紹

Cloudera CDH 安裝

Hadoop集群介紹，Hadoop集群使用

HDFS分布式文件系統(tǒng)介紹

Kafka的使用場景

Kakfa的設(shè)計思想，Kafka文件存儲機制

持久化\負載均衡\Topic模型

消息傳輸一致性\分布式

Leader的選擇\集群分區(qū)

生產(chǎn)者消費者配置

案例：Kafka從flume獲取消息，實現(xiàn)傳輸

flume+sqoop介紹及開發(fā)實例

flume實現(xiàn)數(shù)據(jù)采集流程

flume agent配置，flume sink配置，flume 數(shù)據(jù)過濾

案例(1)： 使用flume動態(tài)采集日志

Sqoop功能及軟件結(jié)構(gòu)

從關(guān)系型數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)到HDFS，從HDFS導(dǎo)入數(shù)據(jù)到關(guān)系型數(shù)據(jù)庫

第一天PM

案例： 從HDFS導(dǎo)入數(shù)據(jù)到MySQL數(shù)據(jù)庫

案例： 從MySQL數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)到HDFS

Hadoop集群搭建、Spark集群部署及測試

Spark交互式命令行

如何使用Spark交互式命令行、理解Spark任務(wù)提交流程、執(zhí)行流程

如何通過WebUI查看任何執(zhí)行狀態(tài)

spark streaming運行原理spark 生態(tài)及運行原理

集群模式

Spark工作機制

RDD彈性分布式數(shù)據(jù)集，介紹RDD實現(xiàn)原理

理解什么是Action和Transformation，理解窄依賴與寬依賴

Spark核心概念之RDD

RDD函數(shù)

Spark核心概念之Shuffle

Spark Job執(zhí)行原理分析、shuffle操作解析

Spark核心概念之Cache

Spark廣播變量與累加器、Cache與checkpoint問題

Spark多語言編程

第二天AM

Spark SQL組件、架構(gòu)

DataFrame、SparkSQL運行原理

Spark SQL基礎(chǔ)應(yīng)用

Spark Streaming運行原理、DStream

DStream 常用函數(shù)

Machine Learning On Spark簡介、常用數(shù)據(jù)結(jié)構(gòu)

Spark 資源調(diào)優(yōu)

案例：spark streaming數(shù)據(jù)處理

HDFS HIVE IMPALA組件

DHFS分布式存儲特性

DHFS訪問方式

HDFS優(yōu)化方案

HIVE IMPALA查詢

共同點：如數(shù)據(jù)表元數(shù)據(jù)、ODBC/JDBC驅(qū)動、SQL語法、靈活的文件格式、存儲資源池等

HIVE、IMPALA區(qū)別：特性不同點,架構(gòu)不同特點

第二天PM

Zookeeper組件

Zookeeper應(yīng)用

Zookeeper注冊中心管理

Zookeeper配置與協(xié)調(diào)

實驗：HDFS存取數(shù)據(jù)、HIVE、IMPALA實現(xiàn)數(shù)據(jù)分析和報表

Azkaban、Yarn 調(diào)度資源協(xié)調(diào)

Azkaban的適用場景

Azkaban特點

Azkaban的架構(gòu)

配置文件

啟動executor服務(wù)器

啟動web服務(wù)器

案例：多job工作流案例

yarn架構(gòu)組件(Resourcemanager\NodeManager\ApplicationMaster)

yarn作業(yè)調(diào)度流程

綜合案例

Flume實現(xiàn)日志采集+kafka（消息隊列、緩存）+spark streaming（數(shù)據(jù)處理）+數(shù)據(jù)庫/DHFS

sqoop 導(dǎo)入關(guān)系型數(shù)據(jù)庫，實現(xiàn)hive impala查詢

大數(shù)據(jù)安全管理

Apache Sentry

Hadoop安全機制Kerberos