大数据课程培训方案

一、课程介绍

课程名称:滴滴出行大数据分析项目

课程周期:共七天

课程收获:

1.了解hadoop生态圈,掌握大数据环境的搭建过程

2.掌握hive的用法,能够运用hive进行数据仓库的一系列操作

3.熟练应用FineBI,DolphinScheduler,Atlas,Ranger等组件对数据仓库进行可视化,任务调度,元数据管理以及权限管理等操作

课程概述:

近几年随着移动互联网的发展,网约车渐渐的成为一款安装量百亿+的国民级应用。国内也出现了诸多的网约车品牌,诸如滴滴约车,阳光出行,花小猪出行等各种网约车平台,各平台也具备丰富的功能等特征,各大平台也在纷纷争抢客户,如此产生了大量的数据,正是在此背景下,我们基于如此之火的出行大数据平台,以滴滴为业务背景,开此次滴滴出行大数据项目实训。

本项目为综合项目,包含Linux基础,HiveSQL技术,HDFS分布式文件系统,出行大数据业务分析,项目实战。通过本项目的学习,我们可以更好的体验数据仓库的搭建,分析,可视化以及任务调度等功能,从而对数仓有一个更新的认识。

课程亮点

1.基于HDFS实现出行大数据异构数据源存储。

2.使用Hive数仓构建技术实现出行大数据数据分析。

3.使用FIneBI实现数据分析结果展示。

4.使用DolphinScheduler实现数仓的任务调度。

5.使用Atlas实现对元数据管理功能。

6.使用Ranger实现数据仓库的权限管理。

项目成果:

二、课程适合人群

1.计算机、数据科学与大数据技术等相关专业老师。

2.正在从事或未来想从事数据仓库相关方向的老师。

3.在工作中会用到数据分析相关技能的老师。

三、预习资料

获取方式:请扫描下方二维码,回复【大数据】即可获取完整预习资料

四、准备环境介绍

硬件环境要求

1、PC机器CPU:8G Hz以上

2、PC机器内存:16GB以上

3、录音设备与扬声设备

五、课程培训目标

1.体验大数据环境的搭建过程

2.熟练使用基础Linux实操能力

3.能够使用基础HDFS的API处理基本的业务逻辑

4.能够使用HiveSQL完成基础统计分析

5.能够使用FineBI,DS,Atlas,Ranger等数据仓库相关组件

六、项目进度安排

7月25日

环境搭建

1.大数据概论
2.能够使用Vmware虚拟机环境
3.能够使用SecureCRT连接操作Vmware
4.出行大数据环境准备

7月26日

数据开发技术栈(hadoop)

1.Linux基础命令
2.Linux管理命令
3.zookeeper的安装与使用
4.了解Hadoop生态
5.HDFS存储架构
6.分布式文件系统特点
7.了解MapReduce的思想
8.MapReduce案例实战

7月27日

数据开发技术栈(hive)

1.数据仓库以及Hive的概念
2.Hive的DDL操作
3.Hive的分区表跟分桶表
4.理解Hive的静态分区与动态分区
5.Hive的基本查询语法

7月28日

数据开发技术栈(flume,sqoop)

1.了解Flume架构
2.能够使用Flume采集目录到HDFS
3.Flume的高可用及负载均衡
4.理解Sqoop1和Sqoop2的区别
5.能够使用Sqoop导入数据到Hive
6.能够使用Sqoop导出数据到Mysql

7月29日

项目实战(一)

1.出行大数据业务背景介绍
2.基于Hive构建数据仓库理论介绍
3.基于FineBI完成常见报表制作
4.FineBI实战

7月30日

项目实战(二)

1.出行大数据统计指标汇总
2.滴滴出行HIve统计分析实战
3.大数据项目核心指标分析
4.滴滴出行项目实战

7月31日

项目实战(三)

1.DolphinScheduler任务调度
2.元数据管理Atlas
3.权限管理Ranger