1,系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員。
2,牽涉到數(shù)據(jù)挖掘和統(tǒng)計分析的數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計負(fù)責(zé)人。
3,*機(jī)關(guān),金融保險、移動和互聯(lián)網(wǎng)等大數(shù)據(jù)來源單位的負(fù)責(zé)人。
4,高校、科研院所牽涉到數(shù)據(jù)挖掘與統(tǒng)計分析處理的項目負(fù)責(zé)人。
【培訓(xùn)目標(biāo)】
1、全面了解大數(shù)據(jù)前沿技術(shù)的相關(guān)知識。
2、學(xué)習(xí)大數(shù)據(jù)前沿技術(shù)平臺、方法以及應(yīng)用特征。
3、學(xué)習(xí)使用大數(shù)據(jù)挖掘和分析中的使用。?
4、了解Hadoop、Spark等技術(shù)的融合使用。
【課程大綱】
*講 大數(shù)據(jù)技術(shù)基礎(chǔ)
? 1)大數(shù)據(jù)應(yīng)用需求及潛在價值分析
? 2)大數(shù)據(jù)與數(shù)據(jù)庫解決方案的對比
? 3)國內(nèi)外主流的大數(shù)據(jù)解決方案
? 4)開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析
? 5)大數(shù)據(jù)下的技術(shù)選型與架構(gòu)設(shè)計
第二講 批處理大數(shù)據(jù)平臺Hadoop
? 1)Hadoop及其運(yùn)行架構(gòu)
? 2)HDFS分布式文件系統(tǒng)
? 3)MapReduce計算模型
? 4)HBase大表管理技術(shù)
? 5)Hadoop平臺使用和實(shí)操
第三講 實(shí)時大數(shù)據(jù)平臺Spark
1)Spark實(shí)時處理技術(shù)
2)彈性分布式數(shù)據(jù)集RDD?
? 3)Spark分布式計算框架
? 4)Spark的BDAS生態(tài)系統(tǒng)
? 5)Spark平臺使用和實(shí)操
第四講 流式大數(shù)據(jù)平臺Storm
? 1)流式大數(shù)據(jù)處理架構(gòu)
? 2)Storm在企業(yè)應(yīng)用介紹
? 3)Storm拓?fù)浼傲鞣纸M
? 4)Spout和Bolt詳解
? 5)分布式DPRC和Trident
6)Storm平臺使用和實(shí)操
第五講 Python網(wǎng)絡(luò)爬蟲
? 1)網(wǎng)絡(luò)爬蟲基礎(chǔ)
? 2)urllib和urllib2庫的用法
? 3)Python 正則表達(dá)式
? 4)Beautiful Soup使用
? 5)用Scrapy采集示例實(shí)操
第六講 大數(shù)據(jù)日志采集工具Flume
? 1)日志采集及Scribe介紹
2)Flume-NG數(shù)據(jù)流模型
? 3)Flume平臺架構(gòu)
? 4)Flume集群部署配置
? 5)Flume應(yīng)用案例實(shí)操
第七講 分布式消息訂閱工具Kafka
? 1)Kafka應(yīng)用介紹
? 2)Kafka平臺架構(gòu)
? 3)Kafka集群部署與配置
? 4)Kafka應(yīng)用案例實(shí)操
第八講 NoSQL云數(shù)據(jù)處理工具
?? 1)NoSQL技術(shù)及云數(shù)據(jù)庫介紹
?? 2)HBase列數(shù)據(jù)存儲及處理機(jī)制
?? 3)HBase高并發(fā)讀/寫實(shí)現(xiàn)及案例
?? 4)MongoDB文檔數(shù)據(jù)存儲及處理
?? 5)MongoDB操作實(shí)現(xiàn)及案例
第九講 大數(shù)據(jù)中的SQL工具
?? 1)大數(shù)據(jù)中的類SQL工具
?? 2) Hive設(shè)計目標(biāo)和數(shù)據(jù)模型
?? 3) Hive關(guān)鍵性技術(shù)和案例
?? 4) SparkSQL設(shè)計目標(biāo)和數(shù)據(jù)模型
?? 5) SparkSQL關(guān)鍵性技術(shù)和案例
第十講 大數(shù)據(jù)分析挖掘工具
? 1)大數(shù)據(jù)挖掘及知識模型的發(fā)現(xiàn)
? 2)大數(shù)據(jù)挖掘工具M(jìn)ahout和MLlib
? 3)推薦方法及MLlib電影推薦案例
? 4)分類方法及Mahout新聞分類案例
? 5)聚類方法及K-Means聚類案例
第十一講 資源虛擬化工具Docker
? 1)虛擬化和容器技術(shù)
? 2)LXC和Docker的發(fā)展
? 3)Docker架構(gòu)及特性
? 4)鏡像、容器和倉庫
? 5)Docker的執(zhí)行及其案例實(shí)操
第十二講 大數(shù)據(jù)技術(shù)展望
? 1)大數(shù)據(jù)分析技術(shù)展望
? 2)大數(shù)據(jù)平臺的發(fā)展展望
? 3)大數(shù)據(jù)挖掘的應(yīng)用展望