课程简介
案例背景:
小红书是个生活分享社区。推荐每天几百亿次笔记曝光承载着给用户种草功能。推荐算法的核心是根据大量用户行为数据学习出来的对用户行为的预估模型。
在过去的一年多的时间里,推荐的预估模型从最简单的GBDT演进到了包含近千亿参数的稀疏离散模型。为了支撑起千亿参数的稀疏离散模型,推荐的在线系统架构和线下的数据处理架构都经历了多次演进。
解决思路:
当模型变贵变大之后,推荐的线上服务拆分出了独立的集群做模型推荐。当模型快达到百亿规模时,拆分出了独立的参数服务器PS。线下数据需用Flink做实时的行为归因。离线训练用Volcano管理Tensorflow训练集群。
成果:
模型升级使业务指标有两位数的提升的同时,运维成本和系统复杂度有所下降。
目标收益
学习了解大规模推荐系统的架构设计。
学习了解流计算在推荐场景中的应用
培训对象
课程内容
案例方向
高效运维/架构演进/微服务的2.0时代/云原生构建之路
案例背景
小红书是个生活分享社区。推荐每天几百亿次笔记曝光承载着给用户种草功能。推荐算法的核心是根据大量用户行为数据学习出来的对用户行为的预估模型。
在过去的一年多的时间里,推荐的预估模型从最简单的GBDT演进到了包含近千亿参数的稀疏离散模型。为了支撑起千亿参数的稀疏离散模型,推荐的在线系统架构和线下的数据处理架构都经历了多次演进。
收益
学习了解大规模推荐系统的架构设计。
学习了解流计算在推荐场景中的应用
解决思路
当模型变贵变大之后,推荐的线上服务拆分出了独立的集群做模型推荐。当模型快达到百亿规模时,拆分出了独立的参数服务器PS。线下数据需用Flink做实时的行为归因。离线训练用Volcano管理Tensorflow训练集群。
结果
模型升级使业务指标有两位数的提升的同时,运维成本和系统复杂度有所下降。