400-888-5228

課程簡(jiǎn)介

講解hadoop和spark的工作原理和部署方法,測(cè)試大數(shù)據(jù)程序的執(zhí)行,對(duì)各種任務(wù)和資源進(jìn)行管理。

 

學(xué)員要求

學(xué)習(xí)了前置課程《Ubuntu Linux系統(tǒng)管理》?或者有Linux系統(tǒng)管理經(jīng)驗(yàn),對(duì)進(jìn)程運(yùn)行環(huán)境、linux磁盤管理、網(wǎng)絡(luò)管理、服務(wù)管理熟悉。

 

培訓(xùn)時(shí)長(zhǎng)

3天(21學(xué)時(shí))

 

課程收益

  1. 了解Hadoop的歷史及目前發(fā)展的現(xiàn)狀、以及Hadoop的技術(shù)特點(diǎn),從而把握分布式計(jì)算框架及未來發(fā)展方向,在大數(shù)據(jù)時(shí)代能為企業(yè)的技術(shù)選型及架構(gòu)設(shè)計(jì)提供決策參考。
  2. 全面掌握Hadoop的架構(gòu)原理和使用場(chǎng)景,并通過貫穿課程的項(xiàng)目進(jìn)行實(shí)戰(zhàn)鍛煉,課程還涵蓋了分布式計(jì)算領(lǐng)域的常用算法介紹,幫助學(xué)員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價(jià)值。
  3. 深入理解Hadoop技術(shù)架構(gòu),對(duì)Hadoop運(yùn)作機(jī)制有清晰全面的認(rèn)識(shí),可以獨(dú)立規(guī)劃及部署生產(chǎn)環(huán)境的Hadoop集群,掌握Hadoop基本運(yùn)維思路和方法,對(duì)Hadoop集群進(jìn)行管理和優(yōu)化。

培訓(xùn)對(duì)象

  1. 云計(jì)算管理員
  2. 大數(shù)據(jù)管理及開發(fā)人員
  3. 項(xiàng)目經(jīng)理
  4. 架構(gòu)師及對(duì)spark感興趣人員

 

課程內(nèi)容

單元1:Hortonworks大數(shù)據(jù)平臺(tái)和Hadoop 2.0介紹

Lab 1.1:登陸到你的集群

單元2:HDFS架構(gòu)

單元3:安裝 Hadoop

Lab 3.1:設(shè)置你的環(huán)境

Lab 3.2:用Ambari安裝HDP2.0集群

單元4:配置Hadoop

Lab 4.1:添加一個(gè)新的節(jié)點(diǎn)到集群

Lab 4.2:停止和啟動(dòng)HDP 服務(wù)

Lab 4.3:使用HDFS命令

單元5:數(shù)據(jù)完整性檢查

Lab 5.1:用塊掃描和fsck 核查數(shù)據(jù)

單元6:HDFS NFS網(wǎng)關(guān)

Lab 6.1:安裝HDFS 到本地文件系統(tǒng)

單元7:YARN架構(gòu)和MapReduce

Lab 7.1:MapReduce 任務(wù)的故障處理

單元8:任務(wù)調(diào)度

Lab 8.1:配置容量調(diào)度

單元9:企業(yè)數(shù)據(jù)運(yùn)行

Lab 9.1:用distcp 從遠(yuǎn)程集群復(fù)制數(shù)據(jù)

單元10:HDFS Web服務(wù)

Lab 10.1:使用Web HDFS

單元11:Hive管理

Lab11.1:Understanding HiveTables

單元12:Sqoop數(shù)據(jù)轉(zhuǎn)移

Lab12.1:Using Sqoop

單元13:Flume

Lab13.1:Install and TestFlume

單元14:Oozie

Lab14.1:Running an OozieWorkflow

單元15:監(jiān)控HDP2服務(wù)

單元16:增加及刪除節(jié)點(diǎn)

Lab16.1:Commissioning &Decommissioning DataNodes

單元17:備份和恢復(fù)

Lab17.1:Using HDFS、Snapshots

單元18:機(jī)架感知

Lab18.1:Configuring RackAwareness

單元19:NameNode HA

Lab19.1:ImplementingNameNode HA

單元20:HDP的安全訪問控制

Lab20.1:Securing aHDPCluster