在现代社会,在线购物、订购和其他形式的在线消费是日常生活的重要组成部分。在享受舒适生活的同时,人们有时必须陷入巨大而复杂的信息和数据中。当时,对定制和智能参考系统的需求增加了。这些系统可以通过有效解决信息过载并基于用户偏好和历史限制推荐更多个性化元素来改善用户体验。随着深度学习应用的爆炸性增长,基于深度学习的推荐变得越来越重要。
深度学习推荐系统(DLRS)是meta、Google和NVIDIA等技术的主要基础设施。DLR通常包括大量ML模型和通过在地理分布式数据中心复制而托管在深度神经网络上的大量参数化服务器。这里,每个数据中心都有一系列推理服务器,它们从本地参数服务器中提取模型并向客户端生成推荐结果。
为了快速提供新用户和内容,DLRS需要继续以低延迟更新ML模型。然而,这对于现有的DLRS系统来说并不容易。流行的推荐系统,如NVIDIA Merlin、Google TFRA、meta BigGraph、离线更新模型、收集新的训练数据、计算离线模型历史、验证模型检查点并分发到所有数据中心。整个过程需要几个到几个小时。另一种选择是使用WAN优化的ml系统或关联学习系统。该系统使用本地收集的数据更新复制模型,并执行延迟的复制同步,这通常会影响lo(服务级别目标)。
考虑到现有DLR的局限性,有没有办法摆脱这种局面?腾讯、爱丁堡大学等科研机构共同研究了7月11日至13日举行的第16届osdi 2022大会。研究人员释放了ekko。这是一个全面的深度学习推荐系统,支持在不牺牲SLO的情况下更新低延迟模型。它比当前的SOTA DLRS系统快1位数。腾讯用于生产环境,为用户提供各种推荐服务。
Osdi(操作系统设计和实现)是世界领先的计算机系统软件会议之一。在操作系统原理方面,她被称为奥斯卡。USENIX赞助的学术地位很高。在这次会议上,共有253笔捐款,占49%,接受率约为19.4%。Ekko:腾讯选择的第一篇文章是一个具有低延迟模型更新的海量深度学习推荐系统。
欢迎关注腾讯企业邮箱:http://www.qqxmail.com/new/2616.html