Facebook完全开源Horizon AI:强化学习平台是未来趋势
Horizon AI成首个用于生产的开源RL平台
Horizon AI是一个端到端的强化学习(reinforcement learning,即RL)平台,目的是训练计算机系统分析数据,并利用反馈将决策过程的回报最大化,以持续优化Facebook旗下各类产品和服务的使用体验。
在近期的一份声明中,Facebook如此介绍Horizon AI:
“我们开发这个平台,是为了弥合强化学习在学术研究方面日益增长的影响力与实际应用狭窄范围之间的差距。过去一年,我们在Facebook上部署了Horizon AI,提高了该平台把 RL 基于决策的方法运用到大规模应用程序的能力。”
当其他人致力于研究RL应用程序时,Horizon AI是第一个用于生产的开源RL平台。
Horizon AI 助力更多领域应用RL
谷歌的研究科学家凯文・墨菲(Kevin Murphy)在1998年撰写了一篇文章,举了一个例子来解释强化学习:“在训练狗时可以玩一个小把戏:不要告诉它应该做什么,但如果它做了正确或错误的事情,你可以奖励或惩罚它,它必须自己找出得到奖励或遭受惩罚的原因。我们可以用类似的方法来训练AI完成许多任务。”
强化学习是机器学习( machine learning,即ML)的一个分支。机器学习系统通常会生成预测,随后需要工程师将这些预测转换为策略(即行动策略)。强化学习系统则更进一步,它创建的系统能够做出决策、采取行动,然后根据反馈进行调整。例如,RL 系统可以根据其他 ML 系统的估计和视频缓冲区的状态,直接为特定播放中的视频选择高比特率或低比特率。
虽然 RL 的策略优化能力在研究中显示出了良好的效果,但人工智能社区很难使用这些模型处理生产环境中有很大差别的实际需求。借助 Horizon AI,研究者可以将两种完全不同类型的应用连接起来:复杂但终究有限的研究用模拟器环境;基于 ML 的策略优化系统,依赖于存在固有噪声的、稀疏的、任意分布的数据。
就像深度学习彻底改变了神经网络的应用,Horizon AI这样的项目有可能将定义科学家和工程师未来如何将 RL 应用到生产环境中,怎样使用策略优化来产生影响。Horizon AI 考虑了特定生产环境的问题,包括特征规范化、分布式训练、大规模部署和服务、具有数千种不同特征类型和分布的数据集,以及高维离散的连续动作空间。
尽管行业内也存在其他强化学习平台,但Horizon AI是独一无二的,因为它的设计意图是输出产品和结果,而非用于测试和实验。
在Facebook平台上,它基于用户数据为推送通知系统提供决策,页面管理员据此向用户发送他们感兴趣的信息更新,并提高网站关键功能(如在线视频)的质量。
Facebook工程师、Horizon AI项目负责人杰森・高奇(JasonGauci)表示:“我认为强化学习将是整个行业的未来趋势,会在机器学习方面得到广泛采用。所以我们将Horizon AI开源,为全世界的爱好者提供一个出色的强化学习应用平台。任何有基本经验的人都可以生成一个数据集,训练一个模型,看看它是如何工作的。我们希望让更多人对这个领域感到兴奋。”
相关阅读
最新文章
随机推荐
- 定制版联想Z5今日开启预约 贺代言人朱一龙幻月精彩演绎
- 余额宝死亡倒计时?货基利率下滑陷“恶性循环”
- 民权催乳 民权催乳培训 全国优秀催乳师 胡老师
- 好太太集团抢占智能晾衣架市场新高地
- 飞熊领鲜孔祥明:打造进口冻品流通的3.0时代
- 不止高屏占比 这些全面屏手机颜值惊人!
- 格美电器:净水器门店运营5大锦囊分享
- 诺基亚8 Bootloader解锁开放
- 远程路演用亿联视频会议系统 投融资朋友圈迅速扩大
- 第七届财经峰会颁奖盛典在京举行 傲冠股份荣获最具创新力企业奖
- 博拉运用大数据营销 赋能长安汽车创造销售佳绩
- 双屏全面屏努比亚X现身跑分:性能稳了
- 客流统计:让线下门店像网店一样能了解自己的访客
- 全新幼教模式来了!贝芽智能幼教课堂正式亮相上海国际幼教展
- 欧派、比亚迪、汤臣倍健、图普科技、ViVO等入选胡润·天进粤港澳大湾区创新品
- Vive Pro正式进入每月Steam硬件和软件最新数据调查
- OPPOK1首销口碑观察:确实是一部实力超群的颜值机!
- 安兔兔公布10月份安卓手机排名 麒麟980表现出色
- 打通线上线下 社交运动品牌Keep探索场景化内容新玩法
- 微软重新发布Windows 10 2018年十月更新(版本1809)
最新评论
更多评论