 班級(jí)規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號(hào)) -Spark培訓(xùn) |
| 每期人數(shù)限3到5人。 |
| 上課時(shí)間和地點(diǎn) |
| 上課地點(diǎn)：【上海】：同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線白銀路站) 【深圳分部】：電影大廈(地鐵一號(hào)線大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號(hào)（中和大道） 【沈陽(yáng)分部】：沈陽(yáng)理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈 最近開(kāi)課時(shí)間(周末班/連續(xù)班/晚班）：FPGA初級(jí)和中級(jí)班開(kāi)課時(shí)間：2025年4月7日--即將開(kāi)課-----即將開(kāi)課，歡迎垂詢(xún) |
| 實(shí)驗(yàn)設(shè)備 |
| ☆資深工程師授課 ☆注重質(zhì)量 ☆邊講邊練 ☆合格學(xué)員免費(fèi)推薦工作 ☆合格學(xué)員免費(fèi)頒發(fā)相關(guān)工程師等資格證書(shū)，提升您的職業(yè)資質(zhì) 專(zhuān)注高端培訓(xùn)15年，端海提供的證書(shū)得到本行業(yè)的廣泛認(rèn)可，學(xué)員的能力 得到大家的認(rèn)同，受到用人單位的廣泛贊譽(yù)。 ★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
| 最新優(yōu)惠 |
| ◆請(qǐng)咨詢(xún)客服。 |
| 質(zhì)量保障 |
1、可免費(fèi)在以后培訓(xùn)班中重聽(tīng)； |
| 課程進(jìn)度安排 |
| 課程大綱 |
|
Spark培訓(xùn) 培訓(xùn)目標(biāo)： 1.?全面了解大數(shù)據(jù)實(shí)時(shí)處理技術(shù)的相關(guān)知識(shí)。 2.?學(xué)習(xí)Spark的核心技術(shù)方法以及應(yīng)用特征。 3.?深入使用Spark在大數(shù)據(jù)實(shí)時(shí)處理中的使用。 4.?掌握BDAS相關(guān)工具及其主要功能。 培訓(xùn)大綱： 第一部分： 第一講?Spark大數(shù)據(jù)實(shí)時(shí)處理技術(shù) ??1）大數(shù)據(jù)處理技術(shù)的背景 ??2）Spark實(shí)時(shí)處理技術(shù)及案例介紹 ??3）Spark架構(gòu)實(shí)例分析 ??4）Spark應(yīng)用場(chǎng)景分析 ??5）Spark與Hadoop、Storm的關(guān)系及選項(xiàng) 第二講?Spark安裝配置及監(jiān)控 ??1）Centos環(huán)境的準(zhǔn)備 ??2）Hadoop2.X和Scala ??3）搭建Spark開(kāi)發(fā)環(huán)境 ??4）Spark監(jiān)控管理 第三講?Scala編程語(yǔ)言使用概述 ??1)?Scala編程語(yǔ)言 ??2)?基本數(shù)據(jù)類(lèi)型 ??3)?操作基本數(shù)據(jù)類(lèi)型 ??4)?類(lèi)和對(duì)象 ??5)?組合和繼承 第四講?Spark分布式計(jì)算框架及案例分析 ??1）Spark計(jì)算模型及案例分析 ??2）彈性分布式數(shù)據(jù)集RDD及使用場(chǎng)景 ??3）Spark的數(shù)據(jù)存儲(chǔ) ??4）Transformation算子分類(lèi)及功能 ??5）Actions算子分類(lèi)及功能 第五講?Spark內(nèi)部工作機(jī)制詳解 ??1)??Spark底層實(shí)現(xiàn)原理 ??2)??Spark應(yīng)用執(zhí)行機(jī)制 ??3)??Spark調(diào)度與任務(wù)分配模塊 ??4)??FIFO和FAIR調(diào)度算法 第六講?Spark數(shù)據(jù)讀取與存儲(chǔ) ???1）Spark的I/O機(jī)制 ???2）Spark中的數(shù)據(jù)壓縮 ???3）Spark的數(shù)據(jù)讀取與存儲(chǔ) ???4）Spark數(shù)據(jù)讀寫(xiě)流程 第二部分： 第七講?Spark通信模塊和容錯(cuò)機(jī)制 ???1）Spark通信模塊 ???2）通信框架AKKA ???3）容錯(cuò)機(jī)制和Lineage依賴(lài) ???4）檢查點(diǎn)機(jī)制進(jìn)行容錯(cuò) ???5）Shuffle過(guò)程 第八講?SQL?On?Spark ???1)?關(guān)系數(shù)據(jù)庫(kù)與NoSql數(shù)據(jù)庫(kù)的選型對(duì)比 ??2）SQL?On?Spark的適用場(chǎng)景 ??3)?BDAS數(shù)據(jù)分析軟件棧 ???4)?SQL?On?Spark ???5)?Spark?SQL工具使用 ???6)?Shark工具使用 ??7)?Hive?on?Spark工具 ??8)?Spark操作HBase中的數(shù)據(jù) 第九講?Spark流數(shù)據(jù)處理工具Streaming ???1）?流數(shù)據(jù)處理工具Streaming的適用場(chǎng)景 ???2）?Spark?Streaming架構(gòu) ???3）?Spark?Streaming原理 ???4）?Spark?Streaming實(shí)例 第十講?Spark中的大數(shù)據(jù)挖掘工具M(jìn)Llib ???1）大數(shù)據(jù)挖掘工具M(jìn)Llib及適用場(chǎng)景 ???2）MLlib的數(shù)據(jù)存儲(chǔ) ???3）MLlib中的聚類(lèi)和分類(lèi) ???4）MLlib算法應(yīng)用實(shí)例 ???5）利用MLlib進(jìn)行推薦 第十一講?Spark大規(guī)模圖處理工具GraphX ???1）大規(guī)模圖處理工具GraphX ???2）GraphX的運(yùn)行架構(gòu) ???3）GraphX操作使用 ???4）GraphX使用實(shí)例 第十二講?Spark在業(yè)界的應(yīng)用案例 ???1）Spark在Amazon的應(yīng)用 ???2）Spark在Yahoo!的應(yīng)用 ???3）Spark在Telefonica的應(yīng)用 ???4）Spark在淘寶的應(yīng)用 |
