课程费用

6800.00 /人

课程时长

50分钟以下及更短时间

成为教练

课程简介

Oceanus-ETL是腾讯内部基于Oceanus实现的大数据ETL平台,每天需要处理超过40万亿的消息,在保证低延迟和高吞吐的情况下,还需要在故障情况下仍能保证数据端到端的exactly-once,提供高可靠的一致性语义。

目标收益

1. 海量数据规模下的数据etl架构设计
2. 高一致性协议
3. 存储性能优化

培训对象

课程内容

案例方向


数据商业化/大数据架构/NLP/人工智能产品落地

案例背景


Oceanus-ETL是腾讯内部基于Oceanus实现的大数据ETL平台,每天需要处理超过40万亿的消息,在保证低延迟和高吞吐的情况下,还需要在故障情况下仍能保证数据端到端的exactly-once,提供高可靠的一致性语义。

收益


1. 海量数据规模下的数据etl架构设计
2. 高一致性协议
3. 存储性能优化

解决思路


我们通过Flink的checkpoint机制,并配合Iceberg,对我们的ETL链路进行了可靠性和性能改造。

结果


我们的项目成功上线测试,并提供了出色的性能和可靠性保障。

课程费用

6800.00 /人

课程时长

50分钟以下及更短时间

预约体验票 我要分享

近期公开课推荐

近期公开课推荐

活动详情

提交需求