课程简介
大数据存储已经走到了一个新的阶段,肯定会有新的革命性技术来替换它,而数据湖就是大数据的下一个变革。业界趋势是从传统的数据仓库向数据湖的方向演进.
数据湖构建实战,基于目前大数据领域流行的数据湖技术及方案,结合数据湖在知名互联网及云计算公司的构建案例,从理论和实战的角度介绍数据湖的构建及应用。
目标收益
从实战角度解密流行的数据湖技术及构建方案,使企业快速构建数据湖能力,降低试错的成本。帮助企业厘清数据湖概念,解决大数据应用实战中的问题。
培训对象
课程内容
1.数据湖是什么湖?
a)什么是数据湖
b)原始数据保存的问题
c)与数据仓库的区别
d)数据湖的关键技术
e)数据沼泽与数据治理
f)数据河与数据源
2.数据湖的架构及战略分析
a)数据湖的常见架构
b)与数据仓库的关系和并存
c)数据湖与Hadoop的关系
d)数据湖与原始数据的关系
e)数据湖与大数据
f)数据湖的安全保障
g)数据湖与元数据
3.数据湖技术分析与实战
a)Apache Hadoop数据湖的基础
b)Apache Kafka数据河流的基础
c)Apache Hudi数据湖存储
d)Apache Ranger数据湖安全
e)Apache Atlas数据湖治理与元数据
4.数据湖的案例分析
a)开源Hadoop数据湖案例分析
b)Amazon数据湖案例分析
c)阿里云EMR数据湖案例分析
d)阿里飞天数据湖案例分析
e)微软Data lake as service案例分析
5.未来的发展
a)下一代数据仓库
b)AI驱动
c)决策自动化