一、初識hadoop
聽過大數(shù)據(jù),必聽過hadoop,此部分帶領(lǐng)大家了解hadoop的用途,在大數(shù)據(jù)中的用途,以及快速搭建一個hadoop的實驗環(huán)境,在本過程中不僅將用到前面的Linux知識,而且會對hadoop的架構(gòu)有深入的理解,并為你以后架構(gòu)大數(shù)據(jù)項目打下堅實基礎(chǔ)。
1) Hadoop生態(tài)環(huán)境介紹2) Hadoop云計算中的位置和關(guān)系3) 國內(nèi)外Hadoop應(yīng)用案例介紹4) Hadoop 概念、版本、歷史5) Hadoop 核心組成介紹及hdfs、mapreduce 體系結(jié)構(gòu)6) Hadoop 的集群結(jié)構(gòu)7) Hadoop 偽分布的詳細(xì)安裝步驟8) 通過命令行和瀏覽器觀察hadoop
二、 HDFS體系結(jié)構(gòu)和shell以及java操作
詳細(xì)剖析HDFS,從知曉原理到開發(fā)網(wǎng)盤的項目讓大家打好學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ),大數(shù)據(jù)之于分布式,分布式學(xué)習(xí)從學(xué)習(xí)分布式文件系統(tǒng)(HDFS)開始。
1) HDFS底層工作原理2) HDFS datanode,namenode詳解3) Hdfs shell4) Hdfs java api
三、 詳細(xì)講解Mapreduce
Mapreduce可以說是任何一家大數(shù)據(jù)公司都會用到的計算框架,也是每個大數(shù)據(jù)工程師應(yīng)該熟練掌握的,此處的學(xué)習(xí)除了老師詳細(xì)的講解理論外,會通過大量的案例讓大家徹底掌握。
1) Mapreduce四個階段介紹2) Writable3) InputSplit和OutputSplit4) Maptask5) Shuffle:Sort,Partitioner,Group,Combiner6) Reducer
四、 Mapreduce案例案例
1) 二次排序2) 倒排序索引3) 最優(yōu)路徑
4) 電信數(shù)據(jù)挖掘之-----移動軌跡預(yù)測分析
5) 社交好友推薦算法6) 互聯(lián)網(wǎng)精準(zhǔn)廣告推送 算法
五、 Hadoop2.x集群搭建
前面帶領(lǐng)大家開發(fā)了大量的MapReduce程序,此部分將帶來大家讓開發(fā)的程序運行在分布式集群中,并且運行在健壯高可用的集群中。
1) Hadoop2.x集群結(jié)構(gòu)體系介紹2) Hadoop2.x集群搭建3) NameNode的高可用性(HA)4) HDFS Federation5) ResourceManager 的高可用性(HA)6) Hadoop集群常見問題和解決方法
|