1、培訓過程中，如有部分內(nèi)容理解不透或消化不好，可免費在以后培訓班中重聽；
       2、免費提供課后技術(shù)支持，保障培訓效果。
       3、培訓合格學員可享受免費推薦就業(yè)機會。☆合格學員免費頒發(fā)相關(guān)工程師等資格證書，提升職業(yè)資質(zhì)。專注高端技術(shù)培訓15年，端海學員的能力得到大家的認同，受到用人單位的廣泛贊譽，端海的證書受到廣泛認可。

• 第1章 初探大數(shù)據(jù)
  本章將介紹為什么要學習大數(shù)據(jù)、如何學好大數(shù)據(jù)、如何快速轉(zhuǎn)型大數(shù)據(jù)崗位、本項目實戰(zhàn)課程的內(nèi)容安排、本項目實戰(zhàn)課程的前置內(nèi)容介紹、開發(fā)環(huán)境介紹。同時為大家介紹項目中涉及的Hadoop、Hive相關(guān)的知識
• 1-1 導學
  1-2 -如何學好大數(shù)據(jù)
  1-3 -開發(fā)環(huán)境介紹
  1-4 -OOTB鏡像文件使用介紹
  1-5 -大數(shù)據(jù)概述
  1-6 -Hadoop概述
  1-7 -HDFS概述及設(shè)計目標
  1-8 -HDFS架構(gòu)
  1-9 -HDFS副本機制
  1-10 -Hadoop下載及JDK安裝
  1-11 -機器參數(shù)設(shè)置
  1-12 -HDFS核心配置文件內(nèi)容配置
  1-13 -HDFS格式化及啟停
  1-14 -HDFS shell常用操作
  1-15 -HDFS優(yōu)缺點
  1-16 -MapReduce概述
  1-17 -MapReduce編程模型及WordCount案例
  1-18 -YARN產(chǎn)生背景
  1-19 -YARN架構(gòu)和執(zhí)行流程
  1-20 -YARN環(huán)境搭建及提交作業(yè)到Y(jié)ARN上運行
  1-21 -Hive產(chǎn)生背景及Hive是什么
  1-22 -為什么要使用Hive及Hive發(fā)展歷程
  1-23 -Hive體系架構(gòu)及部署架構(gòu)
  1-24 -Hive環(huán)境搭建
  1-25 -Hive基本使用
  第2章 Spark及其生態(tài)圈概述
  Spark作為近幾年最火爆的大數(shù)據(jù)處理技術(shù)，是成為大數(shù)據(jù)工程師必備的技能之一。本章將從如下幾個方面對Spark進行一個宏觀上的介紹：Spark產(chǎn)生背景、特點、發(fā)展史、Databricks官方調(diào)查結(jié)果、Spark與Hadoop的對比、Spark開發(fā)語言及運行模式介紹 ...
• 2-1 -課程目錄
  2-2 -Spark概述及特點
  2-3 -Spark產(chǎn)生背景
  2-4 -Spark發(fā)展歷史
  2-5 -Spark Survey
  2-6 -Spark對比Hadoop
  2-7 -Spark和Hadoop的協(xié)作性
  第3章 實戰(zhàn)環(huán)境搭建
  工欲善其事必先利其器，本章講述Spark源碼編譯、Spark Local模式運行、Spark Standalone模式運行
• 3-1 -課程目錄
  3-2 -Spark源碼編譯
  3-3 補錄：Spark源碼編譯中的坑
  3-4 Spark Local模式環(huán)境搭建
  3-5 Spark Standalone模式環(huán)境搭建
  3-6 Spark簡單使用
  第4章 Spark SQL概述
  Spark SQL面世已來，它不僅接過了Shark的接力棒，繼續(xù)為Spark用戶提供高性能SQL on Hadoop解決方案，還為Spark帶來了通用、高效、多元一體的結(jié)構(gòu)化數(shù)據(jù)處理能力。本章將從Spark SQL前世今生、SQL on Hadoop框架、Spark SQL概述、愿景、架構(gòu)，這幾個角度進行展開講解...
• 4-1 課程目錄
  4-2 -Spark SQL前世今生
  4-3 -SQL on Hadoop常用框架介紹
  4-4 -Spark SQL概述
  4-5 -Spark SQL愿景
  4-6 -Spark SQL架構(gòu)
  第5章 從Hive平滑過渡到Spark SQL
  Hive是SQL-on-Hadoop的解決方案和默認的標準，如何將數(shù)據(jù)處理從Hive過渡到Spark SQL上來是我們必須要掌握的。本章我們將講解在Spark中操作Hive中的數(shù)據(jù)幾種方式
• 5-1 -課程目錄
  5-2 -A SQLContext的使用
  5-3 -B HiveContext的使用
  5-4 -C SparkSession的使用
  5-5 spark-shell&spark-sql的使用
  5-6 -thriftserver&beeline的使用
  5-7 -jdbc方式編程訪問
  第6章 DateFrame&Dataset
  DataFrame&Dataset是Spark2.x中最核心的編程對象，Spark2.x中的子框架能夠使用DataFrame或Dataset來進行數(shù)據(jù)的交互操作。本章將從DataFrame的產(chǎn)生背景、DataFrame對比RDD、DataFrame API操作等方面對DataFrame做詳細的編程開發(fā)講解
• 6-1 -課程目錄
  6-2 -DataFrame產(chǎn)生背景
  6-3 -DataFrame概述
  6-4 -DataFrame和RDD的對比
  6-5 -DataFrame基本API操作
  6-6 -DataFrame與RDD互操作方式一
  6-7 -DataFrame與RDD互操作方式二
  6-8 -DataFrame API操作案例實戰(zhàn)
  6-9 -Dataset概述及使用
  第7章 External Data Source
  Spark SQL中的核心功能，可以使用外部數(shù)據(jù)源非常方便的對存儲在不同系統(tǒng)上的不同格式的數(shù)據(jù)進行操作。本章將講解如何使用外部數(shù)據(jù)源來操作Hive、Parquet、MySQL中的數(shù)據(jù)以及綜合使用
• 7-1 -課程目錄
  7-2 -產(chǎn)生背景
  7-3 -概述
  7-4 -目標
  7-5 -操作Parquet文件數(shù)據(jù)
  7-6 -操作Hive表數(shù)據(jù)
  7-7 -操作MySQL表數(shù)據(jù)
  7-8 -Hive和MySQL綜合使用
  第8章 SparkSQL愿景
  本章將講解Spark的愿景：寫更少的代碼、讀更少的數(shù)據(jù)、讓優(yōu)化器自動優(yōu)化程序
• 8-1 -A SparkSQL愿景之一寫更少的代碼(代碼量和可讀性)
  8-2 -B SparkSQL愿景之一寫更少的代碼(統(tǒng)一訪問操作接口)
  8-3 -C SparkSQL愿景之一寫更少的代碼(強有力的API支持)
  8-4 -D SparkSQL愿景之一些更少的代碼(Schema推導)
  8-5 -E SparkSQL愿景之一寫更少的代碼(Schema Merge)
  8-6 -F SparkSQL愿景之一寫更少的代碼(Partition Discovery)
  8-7 -G SparkSQL愿景之一寫更少的代碼(執(zhí)行速度更快)
  8-8 -SparkSQL愿景之二讀取更少的數(shù)據(jù)
  8-9 -SparkSQL愿景之三讓查詢優(yōu)化器幫助我們優(yōu)化執(zhí)行效率
  8-10 -SparkSQL愿景總結(jié)
  第9章 慕課網(wǎng)日志實戰(zhàn)
  本章使用Spark SQL對慕課網(wǎng)主站的訪問日志進行各個維度的統(tǒng)計分析操作，涉及到的過程有：數(shù)據(jù)清洗、數(shù)據(jù)統(tǒng)計、統(tǒng)計結(jié)果入庫、數(shù)據(jù)的可視化、調(diào)優(yōu)及Spark on YARN。通過本實戰(zhàn)項目將Spark SQL中的知識點融會貫通，達到舉一反三的效果 ...
• 9-1 -課程目錄
  9-2 -用戶行為日志概述
  9-3 -離線數(shù)據(jù)處理架構(gòu)
  9-4 -項目需求
  9-5 imooc網(wǎng)主站日志內(nèi)容構(gòu)成
  9-6 數(shù)據(jù)清洗之第一步原始日志解析
  9-7 -數(shù)據(jù)清洗之二次清洗概述
  9-8 -數(shù)據(jù)清洗之日志解析
  9-9 -數(shù)據(jù)清洗之ip地址解析
  9-10 -數(shù)據(jù)清洗存儲到目標地址
  9-11 -需求一統(tǒng)計功能實現(xiàn)
  9-12 -Scala操作MySQL工具類開發(fā)
  9-13 -需求一統(tǒng)計結(jié)果寫入到MySQL
  9-14 -需求二統(tǒng)計功能實現(xiàn)
  9-15 -需求二統(tǒng)計結(jié)果寫入到MySQL
  9-16 -需求三統(tǒng)計功能實現(xiàn)
  9-17 -需求三統(tǒng)計結(jié)果寫入到MySQL
  9-18 -代碼重構(gòu)之刪除指定日期已有的數(shù)據(jù)
  9-19 -功能實現(xiàn)之數(shù)據(jù)可視化展示概述
  9-20 -ECharts餅圖靜態(tài)數(shù)據(jù)展示
  9-21 -ECharts餅圖動態(tài)展示之一查詢MySQL中的數(shù)據(jù)
  9-22 -ECharts餅圖動態(tài)展示之二前端開發(fā)
  9-23 -使用Zeppelin進行統(tǒng)計結(jié)果的展示
  9-24 -Spark on YARN基礎(chǔ)
  9-25 -數(shù)據(jù)清洗作業(yè)運行到Y(jié)ARN上
  9-26 -統(tǒng)計作業(yè)運行在YARN上
  9-27 -性能優(yōu)化之存儲格式的選擇
  9-28 -性能調(diào)優(yōu)之壓縮格式的選擇
  9-29 -性能優(yōu)化之代碼優(yōu)化
  9-30 -性能調(diào)優(yōu)之參數(shù)優(yōu)化
  第10章 Spark SQL擴展和總結(jié)
  本章將列舉Spark SQL在工作中經(jīng)常用到的方方方面的總結(jié)
• 10-1 -課程目錄
  10-2 -Spark SQL使用場景
  10-3 -Spark SQL加載數(shù)據(jù)
  10-4 -DataFrame與SQL的對比
  10-5 -Schema
  10-6 -SaveMode
  10-7 -處理復雜的JSON數(shù)據(jù)
  10-8 -SQL的覆蓋程度
  10-9 -外部數(shù)據(jù)源