400-888-5228

課程描述

Big Data on AWS 課程將向您介紹基于云的大數(shù)據(jù)解決方案,例如 Amazon (EMR)、Amazon Redshift、Amazon Kinesis 以及其余的 AWS 大數(shù)據(jù)平臺(tái)。在本課程中,我們將向您介紹如何使用 Amazon EMR 來(lái)利用諸如 Hive 和 Hue 等廣泛 Hadoop 工具體系處理數(shù)據(jù)。授課內(nèi)容還包括如何創(chuàng)建大數(shù)據(jù)環(huán)境、如何結(jié)合使用 Amazon DynamoDB、Amazon Redshift Amazon Quicksight、Amazon Athena 和 Amazon Kinesis 以及如何利用最佳實(shí)踐來(lái)設(shè)計(jì)大數(shù)據(jù)環(huán)境,從而實(shí)現(xiàn)安全性和經(jīng)濟(jì)性。

 

課程級(jí)別

中級(jí)

 

授課方式

本課程將結(jié)合以下方式授課:

講師指導(dǎo)培訓(xùn) (ILT)

動(dòng)手實(shí)驗(yàn)室

 

動(dòng)手實(shí)踐活動(dòng)

本課程允許通過(guò)各種實(shí)踐操作來(lái)試驗(yàn)新的技術(shù)并將所學(xué)知識(shí)應(yīng)用到您的工作環(huán)境中

目標(biāo)人群

本課程適用于:

負(fù)責(zé)設(shè)計(jì)和實(shí)施大數(shù)據(jù)解決方案的人員,即解決方案架構(gòu)師

數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師有興趣了解 AWS 上大數(shù)據(jù)解決方案背后的服務(wù)和架構(gòu)模式

 

先決條件

我們建議參加學(xué)習(xí)本課程的人員符合以下先決條件:

基本熟悉大數(shù)據(jù)技術(shù),包括 Apache Hadoop、MapReduce、HDFS 和 SQL/NoSQL 查詢

學(xué)員應(yīng)完成 Big Data Technology Fundamentals 網(wǎng)絡(luò)培訓(xùn)或具備同等經(jīng)驗(yàn)

具有核心 AWS 服務(wù)和公有云實(shí)施工作經(jīng)驗(yàn)

學(xué)員應(yīng)完成 AWS Technical Essentials 課程或具備同等經(jīng)驗(yàn)

了解數(shù)據(jù)倉(cāng)庫(kù)、關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)和數(shù)據(jù)庫(kù)設(shè)計(jì)基礎(chǔ)

 

課程目標(biāo)

通過(guò)學(xué)習(xí)本課程,您將能夠:

適用大數(shù)據(jù)體系內(nèi)的 AWS 解決方案

在 Amazon EMR 環(huán)境中使用 Apache Hadoop

了解 Amazon EMR 群集的組件

啟動(dòng)并配置 Amazon EMR 群集

利用 Amazon EMR 的常用編程框架,包括 Hive、Pig 和 Streaming

利用 Hue 提高 Amazon EMR 的易用性

在 Amazon EMR 上借助 Spark 使用內(nèi)存分析

選擇適當(dāng)?shù)?AWS 數(shù)據(jù)存儲(chǔ)選項(xiàng)

確定使用 Amazon Kinesis 以近乎實(shí)時(shí)的速度處理大數(shù)據(jù)的優(yōu)勢(shì)

利用 Amazon Redshift 有效地存儲(chǔ)和分析數(shù)據(jù)

理解并管理大數(shù)據(jù)解決方案的費(fèi)用和安全性

保護(hù)大數(shù)據(jù)解決方案

確定用于獲取、傳輸和壓縮數(shù)據(jù)的選項(xiàng)

利用 Amazon Athena 進(jìn)行臨時(shí)查詢分析

借助 Amazon QuickSight 使用可視化軟件描述數(shù)據(jù)和查詢

利用 AWS Data Pipeline 編排大數(shù)據(jù)工作流

 

課程大綱

注意:課程大綱可能不盡相同,具體取決于授課的地區(qū)位置和/或語(yǔ)言。

第 1 天

  • 大數(shù)據(jù)概述
  • 大數(shù)據(jù)獲取和傳輸
  • 大數(shù)據(jù)流式處理和 Amazon Kinesis
  • 實(shí)驗(yàn)室 1:使用 Amazon Kinesis 流式處理和分析 Apache 服務(wù)器日志數(shù)據(jù)
  • 大數(shù)據(jù)存儲(chǔ)解決方案
  • 大數(shù)據(jù)處理和分析
  • 實(shí)驗(yàn)室 2:使用 Amazon Athena 查詢 Amazon S3 的日志數(shù)據(jù)

第 2 天

  • Apache Hadoop 和 Amazon EMR
  • 實(shí)驗(yàn)室 3:在 Amazon DynamoDB 上存儲(chǔ)并查詢數(shù)據(jù)
  • 使用 Amazon EMR
  • Hadoop 編程框架
  • 實(shí)驗(yàn)室 4:在 Amazon EMR 上利用 Hive 處理服務(wù)器日志
  • Amazon EMR 上的 Web 界面
  • 實(shí)驗(yàn)室 5:在 Amazon EMR 上的 Hue 中運(yùn)行 Pig 腳本
  • Amazon EMR 上的 Apache Spark
  • 實(shí)驗(yàn)室 6:在 Amazon EMR 上使用 Spark 處理 NY Taxi 數(shù)據(jù)

第 3 天

  • Amazon Redshift 和大數(shù)據(jù)
  • 大數(shù)據(jù)的可視化及編制
  • 實(shí)驗(yàn)室 7:使用 TIBCO Spotfire 可視化數(shù)據(jù)
  • 管理大數(shù)據(jù)費(fèi)用
  • 保護(hù)您的 Amazon 部署
  • 大數(shù)據(jù)設(shè)計(jì)模式