班級(jí)規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號(hào)) |
每期人數(shù)限3到5人。 |
上課時(shí)間和地點(diǎn) |
上課地點(diǎn):【上海】:同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線白銀路站) 【深圳分部】:電影大廈(地鐵一號(hào)線大劇院站)/深圳大學(xué)成教院 【北京分部】:北京中山學(xué)院/福鑫大樓 【南京分部】:金港大廈(和燕路) 【武漢分部】:佳源大廈(高新二路) 【成都分部】:領(lǐng)館區(qū)1號(hào)(中和大道) 【沈陽(yáng)分部】:沈陽(yáng)理工大學(xué)/六宅臻品 【鄭州分部】:鄭州大學(xué)/錦華大廈 【石家莊分部】:河北科技大學(xué)/瑞景大廈 【廣州分部】:廣糧大廈 【西安分部】:協(xié)同大廈
最近開課時(shí)間(周末班/連續(xù)班/晚班):2025年4月7日--即將開課-----即將開課,歡迎垂詢 |
實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
質(zhì)量保障 |
1、可免費(fèi)在以后培訓(xùn)班中重聽(tīng);
2、免費(fèi)提供課后技術(shù)支持,保障培訓(xùn)效果。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。 |
課程大綱 |
|
- 第1章課程簡(jiǎn)介
1-1課程簡(jiǎn)介
第2章Docker知識(shí)快速入門
2-1什么是Docker技術(shù)
2-2為什么要使用Docker
2-3Docker中的基本概念
2-4Docker安裝
2-5Docker獲取鏡像
2-6Docker創(chuàng)建鏡像(1)
2-7Docker創(chuàng)建鏡像(2)
2-8Docker本地導(dǎo)入鏡像
2-9Docker保存、載入、刪除鏡像
2-10Docker容器的創(chuàng)建啟動(dòng)和停止
2-11Docker命令進(jìn)入容器后臺(tái)
2-12Docker命令導(dǎo)入導(dǎo)出和刪除容器
2-13Docker公有倉(cāng)庫(kù)Docker Hub
2-14Docker私有倉(cāng)庫(kù)的創(chuàng)建
2-15Docker中的數(shù)據(jù)卷
2-16Docker制作數(shù)據(jù)卷容器
2-17Docker數(shù)據(jù)卷容器實(shí)現(xiàn)備份恢復(fù)及遷移
2-18Docker容器綁定外部端口和IP
2-19Docker容器互聯(lián)
2-20Docker一個(gè)完整的例子
2-21Dockerfile基本結(jié)構(gòu)講解
2-22Dockerfile中常見(jiàn)指令講解
第3章Docker搭建Spark學(xué)習(xí)環(huán)境,一鍵部署So easy!
3-1Spark課程前言
3-2Spark基礎(chǔ)核心概念講解
3-3鏡像制作方案和集群網(wǎng)絡(luò)規(guī)劃及子網(wǎng)配置和SSH無(wú)密鑰登錄規(guī)
3-4Hadoop、HDFS、Yarn配置文件詳解
3-5Spark及Hive配置文件詳解
3-6Dockerfile制作Hadoop/Spark/Hive鏡
3-7啟動(dòng)5個(gè)容器并啟動(dòng)Hadoop、Spark、Hive
第4章PySpark基礎(chǔ)及運(yùn)行原理快速入門,
4-1pyspark模塊介紹
4-2SparkContext編程入口及Accumulator
4-3addFile方法和SparkFiles的get方法
4-4binaryFiles讀取二進(jìn)制文件
4-5Broadcast廣播變量和setLogLevel日志級(jí)別
4-6文件的讀取和保存及runJob方法和parallelize
4-7union方法和statusTracker方法講解
4-8aggregate和aggregateByKey的異同
4-9collectAsMap和fold方法的理解及正確使用
4-10foreach和foreachPartitions原理
4-11histogram和lookup方法的使用詳解
4-12reduce、sampleStdev等方法的使用詳解
4-13sequenceFile序列文件的保存和讀取
4-14takeSample、treeAggregate方法使用
4-15coalesce、repartition方法使用技巧
4-16cogroup、combineByKey、reduceByK
4-17foldByKey、groupBy、groupWith幾個(gè)方
4-18集合操作intersection、subtract、unio
4-19join、fullOuterJoin等RDD關(guān)聯(lián)操作
4-20glom、mapPartitions、mapValues等方
4-21pipe、randomSplit、sampleByKey、s
4-22sortBy、sortByKey、values、zip、zi
4-23StorageLevel中常見(jiàn)的存儲(chǔ)級(jí)別
4-24SparkConf對(duì)象詳解
4-25廣播變量深入講解
4-26Accumulator累加器詳解
4-27StatusTracker Spark作業(yè)運(yùn)行狀態(tài)監(jiān)控
第5章pyspark之SparkSQL入門到精通
5-1pyspark之SparkSQL模塊介紹
5-2SparkSession編程入口
5-3掌握創(chuàng)建DataFrame的8種方式
5-4range和udf用戶自定義函數(shù)講解
5-5agg聚合方法及數(shù)據(jù)緩存方法cache的講解
5-6colRegex及corr計(jì)算皮爾森相關(guān)系數(shù)
5-7crossJoin笛卡爾積和cube多維數(shù)據(jù)立方體
5-8explain、dropna及filter和where算子詳
5-9groupBy、intersect、join方法詳解
5-10rollup、replace和randomSplit方法講解
5-11summary統(tǒng)計(jì)方法及toPandas轉(zhuǎn)換為Pandas對(duì)
5-12GroupedData 對(duì)象
5-13DataFrame中的Column對(duì)象(上)
5-14DataFrame中的Columns對(duì)象(下)
5-15Catalog對(duì)象詳解
5-16Row對(duì)象詳解
5-17DataFrameNaFunctions空數(shù)據(jù)處理方法集合
5-18DataFrameStatFunctions統(tǒng)計(jì)模塊詳解
5-19DataFrameReader讀取外部數(shù)據(jù)生成DF
5-20DataFrameWriter將DF數(shù)據(jù)寫入外部存儲(chǔ)
5-21types 類型詳解
5-22functions 函數(shù)模塊詳解
第6章PySpark 機(jī)器學(xué)習(xí)模塊
6-1本地密集、稀疏向量和LabeledPoint向量
6-2本地矩陣和四種分布式矩陣
6-3Statistics基本的統(tǒng)計(jì)方法
6-4假設(shè)檢驗(yàn)、隨機(jī)數(shù)據(jù)的生成和核密度估計(jì)
6-5Piplines構(gòu)建機(jī)器學(xué)習(xí)工作流
6-6TF-IDF詞頻你文檔數(shù)和Word2vec詞向量表示
6-7CountVectorizer和Tokenizer和正則特征
6-8PCA主成分分析、多項(xiàng)式核函數(shù)擴(kuò)展特征空間、數(shù)據(jù)正則化、特征
6-9分桶器、向量組合器、SQL轉(zhuǎn)換器及元素放縮器
6-10特征個(gè)數(shù)過(guò)濾器、缺失值處理器、類別編碼器、向量類別判斷器
6-11邏輯回歸算法、原理、公式推導(dǎo)及二分類和多分類實(shí)踐
6-12完全理解L1,L2正則化及其作用
6-13決策樹算法原理、隨機(jī)深林、梯度提升樹代碼實(shí)踐
6-14多層感知機(jī)分類算法
6-15SVM支持向量機(jī)分類算法
6-16OneVsRest多分類算法
6-17Naive Bayes 樸素貝葉斯分類器
6-18Linear Regression線性回歸
6-19GLMs廣義線性模型
6-20回歸樹
6-21K-Means聚類算法
6-22二分K均值算法
6-23GMM高斯混合模型
6-24基于ALS交替最小二乘法的協(xié)同過(guò)濾推薦算法電影推薦實(shí)踐
6-25FP-Growth頻繁項(xiàng)集推薦算法
6-26超參數(shù)網(wǎng)格搜索
|