Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設(shè)計與實現(xiàn)原理
? Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設(shè)計與實現(xiàn)原理培訓(xùn)
課程大綱：
第一部分　基礎(chǔ)篇
第1章　閱讀源代碼前的準(zhǔn)備
1.1　準(zhǔn)備源代碼學(xué)習(xí)環(huán)境
1.2　獲取Hadoop源代碼
1.3　搭建Hadoop源代碼閱讀環(huán)境
1.4　Hadoop源代碼組織結(jié)構(gòu)
1.5　Hadoop初體驗
1.5.3　Hadoop?Eclipse插件介紹
1.6　編譯及調(diào)試Hadoop源代碼
第2章　MapReduce設(shè)計理念與基本架構(gòu)
2.1　Hadoop發(fā)展史
2.2　Hadoop?MapReduce設(shè)計目標(biāo)
2.3　MapReduce編程模型概述
2.4　Hadoop基本架構(gòu)
2.5　Hadoop?MapReduce作業(yè)的生命周期
第二部分　MapReduce編程模型篇
第3章　MapReduce編程模型
3.1　MapReduce編程模型概述
3.2　MapReduce?API基本概念
3.3　Java?API解析
3.4　非Java?API解析
3.5　Hadoop工作流
第三部分　MapReduce核心設(shè)計篇
第4章　Hadoop?RPC框架解析
4.1　Hadoop?RPC框架概述
4.2　Java基礎(chǔ)知識
4.3　Hadoop?RPC基本框架分析
4.4　MapReduce通信協(xié)議分析
第5章　作業(yè)提交與初始化過程分析
5.1　作業(yè)提交與初始化概述
5.2　作業(yè)提交過程詳解
5.3　作業(yè)初始化過程詳解
5.4　Hadoop?DistributedCache原理分析
第6章　JobTracker內(nèi)部實現(xiàn)剖析
6.1　JobTracker概述
6.2　JobTracker啟動過程分析
6.3　心跳接收與應(yīng)答
6.4　Job和Task運行時信息維護
6.5　容錯機制
6.6　任務(wù)推測執(zhí)行原理
6.7　Hadoop資源管理
第7章　TaskTracker內(nèi)部實現(xiàn)剖析
7.1　TaskTracker概述
7.2　TaskTracker啟動過程分析
7.3　心跳機制
7.4　TaskTracker行為分析
7.5　作業(yè)目錄管理
7.6　啟動新任務(wù)
第8章　Task運行過程分析
8.1　Task運行過程概述
8.2　基本數(shù)據(jù)結(jié)構(gòu)和算法
8.3　Map?Task內(nèi)部實現(xiàn)
8.4　Reduce?Task內(nèi)部實現(xiàn)
8.5　MapReduce?Task優(yōu)化
第四部分　MapReduce高級篇
第9章　Hadoop性能調(diào)優(yōu)
9.1　概述
9.2　從管理員角度進行調(diào)優(yōu)
9.3　從用戶角度進行調(diào)優(yōu)
第10章　Hadoop多用戶作業(yè)調(diào)度器
10.1　多用戶調(diào)度器產(chǎn)生背景
10.2　HOD
10.3　Hadoop隊列管理機制
10.4　Capacity?Scheduler實現(xiàn)
10.5　Fair?Scheduler實現(xiàn)
10.6　其他Hadoop調(diào)度器介紹
第11章　Hadoop安全機制
11.1　Hadoop安全機制概述
11.2　基礎(chǔ)知識
11.3　Hadoop安全機制實現(xiàn)
11.4　應(yīng)用場景總結(jié)
第12章　下一代MapReduce框架
12.1　第一代MapReduce框架的局限性
12.2　下一代MapReduce框架概述
12.3　Apache?YARN
12.4　Facebook?Corona
12.5　Apache?Mesos
?