課程綜述
Cloudera授權Apache Hadoop管理員培訓為期四天，能夠使得學員全面理解操作及維護Hadoop集群的所有步驟：從安裝、配置到負載均衡和調(diào)優(yōu)，是Hadoop管理員面對真實環(huán)境中所有挑戰(zhàn)的最佳能力提升手段。

Hadoop的實驗操作：
通過將講師的分享、討論與動手實驗相結合，學員將探索Hadoop生態(tài)系統(tǒng)的所有領域，學習的課題如下：
-MapReduce和HDFS的原理及如何構建Hadoop架構
-在數(shù)據(jù)中心中合理配置和部署集群來集成系統(tǒng)和硬件
-使用flume和Sqoop把動態(tài)生成的文件及關系型數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)加載到集群中
-配置FairScheduler滿足集群中的多個用戶的服務級別要求
-為集群安裝和配置基于Kerberos的安全方案
-在生產(chǎn)環(huán)境中準備及維護Apache Hadoop的最佳實踐
-故障分析、診斷、調(diào)優(yōu)及Hadoop的問題處理


內(nèi)容綱要
*Hadoop綜述
-Hadoop歷史簡述
-Hadoop的核心組件
-基礎概念
*HDFS
-HDFS的功能
-讀寫文件
-NameNode的注意事項
-HDFS安全綜述
-使用NameNode的Web UI
-使用Hadoop的文件shell
*將數(shù)據(jù)導入HDFS
-使用Flume從外部來源獲取數(shù)據(jù)
-使用Sqoop從關系型數(shù)據(jù)庫中獲取數(shù)據(jù)
-REST接口
-導入數(shù)據(jù)的最佳實踐
*MapReduce
-什么是MapReduce
-MapReduce的功能
-基本概念
-MapReduce的架構
-MapReduce第二版
-故障恢復
-使用JobTracker Web UI
*規(guī)劃Hadoop集群
-規(guī)劃的常規(guī)考慮
-選擇正確的硬件
-網(wǎng)絡的考慮
-配置節(jié)點
-規(guī)劃集群的管理
*Hadoop的安裝和初始化配置
-部署類型
-安裝Hadoop
-Hadoop的特定配置
-完成HDFS初始化配置
-完成MapReduce的初始化配置
-日志文件
*安裝并配置Hive、Impala及Pig
-Hive
-Impala
-Pig
*Hadoop客戶端
-什么是Hadoop客戶端
-安裝和配置Hadoop客戶端
-安裝和配置Hue
-Hue的認證與配置
*Cloudera管理器
-Cloudera管理器的初衷
-Cloudera管理的功能
-標準版和企業(yè)版
-Cloudera管理器的拓撲結構
-安裝Cloudera管理器
-使用Cloudera管理器安裝Hadoop
-完成基本的管理任務
-使用Cloudera管理器
*集群的高級配置
-高級配置參數(shù)
-配置Hadoop端口
-精確地定義主機
-HDFS的Rack awareness配置
-配置HDFS的高可用性
*Hadoop的安全設置
-Hadoop安全的重要性
-Hadoop安全系統(tǒng)的概念
-Kerberos概述及工作原理
-使用Kerberose實現(xiàn)Hadoop集群的安全管理
*管理并調(diào)度作業(yè)
-管理正在執(zhí)行的作業(yè)
-調(diào)度Hadoop的作業(yè)
-配置FairScheduler
*集群維護
-檢查HDFS狀態(tài)
-在集群之間拷貝數(shù)據(jù)
-添加或者刪除集群節(jié)點
-在集群內(nèi)實現(xiàn)均衡
-Namenode元數(shù)據(jù)備份
-集群的升級
*集群監(jiān)控和故障處理
-常規(guī)的系統(tǒng)監(jiān)控
-管理Hadoop的日志文件
-監(jiān)控Hadoop集群
-常見的故障處理問題


學員收益
在完成本課程后，學員將可以參加Cloudera關于Apache Hadoop管理員認證（CCAH）的考試。該認證有助于證明學員樹立在該領域的專業(yè)。


目標學員
本課程適合于具有基本Linux使用經(jīng)驗的系統(tǒng)管理員和IT經(jīng)理，不需要提前具備Apache hadoop的知識。