课程简介：

这一大数据应用案例为主线，使用慕课网真实日志，以目前主流的、最新的Spark稳定版2.1.x为基础，依次介绍相关的大数据技术：Hadoop、Hive、Spark SQL，涉及数据清洗、统计存储、处理入库以及数据可视化（Echarts、Zeppelin），最终会形成一个完整的大数据项目。

课程目录：

├──第1章 初探大数据
| ├──1-10hadoop下载jdk安装、.mp4 99.80M
| ├──1-11 机器参数设置.mp4 35.50M
| ├──1-12 hdfs核心配置文件内容配置.mp4 69.13M
| ├──1-13 hdfs格式化及启停.mp4 66.15M
| ├──1-14 hdfs shell常用操作.mp4 103.63M
| ├──1-15HDFS优缺点.mp4 5.32M
| ├──1-16MapReduce概述.mp4 12.58M
| ├──1-17 mapreduce编程模型及wordcount.mp4 49.89M
| ├──1-18 yarn产生背景.mp4 15.29M
| ├──1-19 yarn架构和执行流程.mp4 65.75M
| ├──1-1导学.mp4 32.45M
| ├──1-20 -YARN环境搭建及提交作业到YARN上运行.mp4 198.48M
| ├──1-21 -Hive产生背景及Hive是什么.mp4 68.38M
| ├──1-22 -为什么要使用Hive及Hive发展历程.mp4 45.54M
| ├──1-23 -Hive体系架构及部署架构.mp4 21.48M
| ├──1-24 -Hive环境搭建.mp4 164.35M
| ├──1-25 -Hive基本使用.mp4 164.68M
| ├──1-2如何学好大数据.mp4 6.46M
| ├──1-3开发环境介绍.mp4 18.88M
| ├──1-4 ooptb镜像文件使用介绍.mp4 55.95M
| ├──1-5大数据.mp4 26.52M
| ├──1-6 hadoop概述.mp4 85.02M
| ├──1-7 hdfs概述及设计目标.mp4 43.35M
| ├──1-8 hdfs架构mp4.mp4 93.37M
| └──1-9 hdfs副本机制.mp4 84.02M
├──第2章 Spark及其生态圈概述
| ├──2-1 -课程目录.mp4 4.76M
| ├──2-2 -Spark概述及特点.mp4 74.83M
| ├──2-3 -Spark产生背景.mp4 83.25M
| ├──2-4 -Spark发展历史.mp4 5.40M
| ├──2-5 -Spark Survey.mp4 23.39M
| ├──2-6 -Spark对比Hadoop.mp4 89.96M
| └──2-7 -Spark和Hadoop的协作性.mp4 10.30M
├──第3章 实战环境搭建
| ├──3-1 -课程目录.mp4 3.50M
| ├──3-2 -Spark源码编译.mp4 241.34M
| ├──3-3 补录：Spark源码编译中的坑.mp4 263.45M
| ├──3-4 Spark Local模式环境搭建.mp4 60.26M
| ├──3-5 Spark Standalone模式环境搭建.mp4 203.09M
| └──3-6 Spark简单使用.mp4 52.76M
├──第4章 Spark SQL概述
| ├──4-1 课程目录.mp4 3.27M
| ├──4-2 -Spark SQL前世今生.mp4 39.76M
| ├──4-3 -SQL on Hadoop常用框架介绍.mp4 22.69M
| ├──4-4 -Spark SQL概述.mp4 60.85M
| ├──4-5 -Spark SQL愿景.mp4 3.59M
| └──4-6 -Spark SQL架构.mp4 11.53M
├──第5章 从Hive平滑过渡到Spark SQL
| ├──5-1 -课程目录.mp4 4.32M
| ├──5-2 -A SQLContext的使用.mp4 306.18M
| ├──5-3 -B HiveContext的使用.mp4 117.06M
| ├──5-4 -C SparkSession的使用.mp4 72.89M
| ├──5-5 spark-shell&spark-sql的使用.mp4 369.18M
| ├──5-6 -thriftserver&beeline的使用.mp4 146.52M
| └──5-7 -jdbc方式编程访问.mp4 64.74M
├──第6章 DateFrame&Dataset
| ├──6-1 -课程目录.mp4 3.53M
| ├──6-2 -DataFrame产生背景.mp4 23.44M
| ├──6-3 -DataFrame概述.mp4 47.50M
| ├──6-4 -DataFrame和RDD的对比.mp4 8.34M
| ├──6-5 -DataFrame基本API操作.mp4 168.93M
| ├──6-6 -DataFrame与RDD互操作方式一.mp4 147.28M
| ├──6-7 dataframe与rdd互操作方式.mp4 97.50M
| ├──6-8 -DataFrame API操作案例实战.mp4 321.60M
| └──6-9 -Dataset概述及使用.mp4 122.10M
├──第7章 External Data Source
| ├──7-1 -课程目录.mp4 2.31M
| ├──7-2 -产生背景.mp4 12.99M
| ├──7-3 -概述.mp4 250.34kb
| ├──7-4 -目标.mp4 22.22M
| ├──7-5 -操作Parquet文件数据.mp4 166.22M
| ├──7-6 -操作Hive表数据.mp4 92.40M
| ├──7-7 -操作MySQL表数据.mp4 121.63M
| └──7-8 -Hive和MySQL综合使用.mp4 71.28M
├──第8章 SparkSQL愿景
| ├──8-1 -A SparkSQL愿景之一写更少的代码(代码量和可读性).mp4 20.12M
| ├──8-10 -SparkSQL愿景总结.mp4 2.17M
| ├──8-2 -B SparkSQL愿景之一写更少的代码(统一访问操作接口).mp4 41.15M
| ├──8-3 -C SparkSQL愿景之一写更少的代码(强有力的API支持).mp4 701.37kb
| ├──8-4 -D SparkSQL愿景之一些更少的代码(Schema推导).mp4 51.26M
| ├──8-5 -E SparkSQL愿景之一写更少的代码(Schema Merge).mp4 55.91M
| ├──8-6 -F SparkSQL愿景之一写更少的代码(Partition Discovery).mp4 48.53M
| ├──8-7 -G SparkSQL愿景之一写更少的代码(执行速度更快).mp4 7.85M
| ├──8-8 -SparkSQL愿景之二读取更少的数据.mp4 44.38M
| └──8-9 -SparkSQL愿景之三让查询优化器帮助我们优化执行效率.mp4 40.61M
├──第9章 慕课网日志实战
| ├──9-1 -课程目录.mp4 6.11M
| ├──9-10 -数据清洗存储到目标地址.mp4 123.21M
| ├──9-11 -需求一统计功能实现.mp4 175.54M
| ├──9-12 -Scala操作MySQL工具类开发.mp4 43.24M
| ├──9-13 -需求一统计结果写入到MySQL.mp4 197.24M
| ├──9-14 -需求二统计功能实现.mp4 87.38M
| ├──9-15 -需求二统计结果写入到MySQL.mp4 106.07M
| ├──9-16 -需求三统计功能实现.mp4 38.39M
| ├──9-17 -需求三统计结果写入到MySQL.mp4 70.32M
| ├──9-18 -代码重构之删除指定日期已有的数据.mp4 115.64M
| ├──9-19 -功能实现之数据可视化展示概述.mp4 111.11M
| ├──9-2 -用户行为日志概述.mp4 56.86M
| ├──9-20 -ECharts饼图静态数据展示.mp4 136.12M
| ├──9-21 -ECharts饼图动态展示之一查询MySQL中的数据.mp4 194.53M
| ├──9-22 -ECharts饼图动态展示之二前端开发.mp4 119.70M
| ├──9-23 -使用Zeppelin进行统计结果的展示.mp4 98.34M
| ├──9-24 -Spark on YARN基础.mp4 241.94M
| ├──9-25 -数据清洗作业运行到YARN上.mp4 280.28M
| ├──9-26 -统计作业运行在YARN上.mp4 131.12M
| ├──9-27 –性能优化之存储格式的选择.mp4 58.54M
| ├──9-28 –性能调优之压缩格式的选择mp4.mp4 96.90M
| ├──9-29 -性能优化之代码优化.mp4 106.33M
| ├──9-3 -离线数据处理架构.mp4 49.46M
| ├──9-30 -性能调优之参数优化.mp4 73.75M
| ├──9-4 -项目需求.mp4 25.71M
| ├──9-5 imooc网主站日志内容构成.mp4 88.36M
| ├──9-6 数据清洗之第一步原始日志解析.mp4 316.59M
| ├──9-7 -数据清洗之二次清洗概述.mp4 29.41M
| ├──9-8 -数据清洗之日志解析.mp4 299.76M
| └──9-9 -数据清洗之ip地址解析.mp4 141.09M
├──第10章 Spark SQL扩展和总结
| ├──10-1 -课程目录.mp4 8.30M
| ├──10-2 -Spark SQL使用场景.mp4 18.55M
| ├──10-3 -Spark SQL加载数据.mp4 193.61M
| ├──10-4 -DataFrame与SQL的对比.mp4 11.44M
| ├──10-5 -Schema.mp4 32.00M
| ├──10-6 -SaveMode.mp4 75.87M
| ├──10-7 -处理复杂的JSON数据.mp4 68.02M
| ├──10-8mp4.mp4 26.26M
| └──10-9 -外部数据源.mp4 59.66M
└──资料