課程重點培養(yǎng)學員基于Hadoop架構(gòu)的大數(shù)據(jù)分析實操能力，從零開始學習Scala編程，掌握Spark，手把手帶練，3個月成為行業(yè)急需的大數(shù)據(jù)開發(fā)人才。講解案例包括但不限于金融大數(shù)據(jù)分析、氣象大數(shù)據(jù)分析、Web海量日志大數(shù)據(jù)分析、智慧高速大數(shù)據(jù)分析等。

　　第一章：大數(shù)據(jù)培訓前沿應用與Hadoop環(huán)境搭建

　　01、大數(shù)據(jù)行業(yè)前沿應用與知識介紹；02、大數(shù)據(jù)分析師課程安排；03、Linux入門基礎(chǔ)；04、Hadoop入門介紹；

　　05、Hadoop單機環(huán)境搭建；06、Hadoop偽分布式集群搭建；07、Hadoop完全分布式集群搭建

　　第二章：Hadoop核心組建使用方法

　　01、分布式文件系統(tǒng)HDFS架構(gòu)原理及常用指令；02、HDFS編程入門；03、Hbase編程入門；04、分布式數(shù)據(jù)倉庫Hive架構(gòu)原理及HQL語法介紹；

　　05、分布式計算引擎MapReduce架構(gòu)原理及基本使用方法；06、資源調(diào)度器YARN基本原理；07、ETL工具Sqoop使用方法

　　第三章：分布式計算引擎Spark入門

　　01、Scala語法知識介紹 ；02、Spark架構(gòu)特點及基本原理；03、Spark入門及安裝部署方法；04、Spark Core介紹；

　　05、Spark SQL介紹與數(shù)據(jù)讀取、保存方法；06、Spark GraphX入門及基本使用方法 ；07、Spark GraphX圖計算算法案例。

　　第四章：Spark核心組件的使用方法

　　01、日志采集系統(tǒng)Flume和分布式消息隊列Kafka入門；02、流式計算框架Spark Streaming基本原理及使用方法；03、流式計算框架Structured Streaming基本原理及使用方法；

　　04、分布式算法庫Spark MlLib入門介紹；05、Spark ML與Spark MLLib；06、機器學習工作流。

　　第五章：Pyspark基礎(chǔ)知識

　　01、Spark數(shù)據(jù)結(jié)構(gòu)及編程語言接口；02、PySpark開發(fā)環(huán)境搭建；03、PySpark編程入門：Spark基本數(shù)據(jù)結(jié)構(gòu)；

　　04、PySpark編程入門：PySpark常用語句；05、Spark與分布式數(shù)據(jù)庫和分布式數(shù)據(jù)倉庫的集成方法；06、采用PySpark讀取分布式數(shù)據(jù)庫中數(shù)據(jù)；07、 PySpark數(shù)據(jù)清洗案例。

　　以上就是奇酷老師為大家分享的“商丘大數(shù)據(jù)分析培訓”謝謝大家觀看，如果對大數(shù)據(jù)感興趣的話，想學大數(shù)據(jù)培訓的，可以在線咨詢我們，我們將竭誠為你解答。