OpenAI 与 DeepMind 合作研究从人类偏好中学习
北京时间 · UTC+8
OpenAI 与 DeepMind 安全团队合作开发了一种算法,通过让人类判断两个候选行为中哪个更好来推断人类想要什么。该工作旨在免去人工编写目标函数,避免为复杂目标使用简单代理或目标偏差导致不良甚至危险行为,是构建安全 AI 系统的一步。
AIHOT 精选理由原文说明该算法通过比较两种行为的优劣来推断人类偏好,从而免去人工编写目标函数,可作为对齐研究的背景参考。
追踪 AI 更新,查看事件时间线和原始信源;需要做购买决策时,再去比价。
当前公开精选集合,保留来源更正和撤回。最后同步:
OpenAI 与 DeepMind 安全团队合作开发了一种算法,通过让人类判断两个候选行为中哪个更好来推断人类想要什么。该工作旨在免去人工编写目标函数,避免为复杂目标使用简单代理或目标偏差导致不良甚至危险行为,是构建安全 AI 系统的一步。
AIHOT 精选理由原文说明该算法通过比较两种行为的优劣来推断人类偏好,从而免去人工编写目标函数,可作为对齐研究的背景参考。
OpenAI 发现进化策略(ES)这一已有数十年历史的优化技术在 Atari/MuJoCo 等现代 RL 基准上可与标准强化学习方法性能相当,同时克服了 RL 的许多不便之处。
AIHOT 精选理由原文指出进化策略在 Atari/MuJoCo 基准上可媲美标准 RL,并克服 RL 的诸多不便,读者可借此了解另一种可扩展的优化路线。
OpenAI 发布 OpenAI Gym 公测版(public beta),这是一个用于开发和比较强化学习(RL)算法的工具包。它包含持续扩充的环境套件,覆盖模拟机器人到 Atari 游戏,并提供用于比较和复现结果的网站。
AIHOT 精选理由工具面向强化学习算法的开发与结果比较,环境覆盖模拟机器人和 Atari 游戏,可帮助读者了解可复现评测的入口。
OpenAI 宣布成立,是一家非营利人工智能研究公司,目标是推动数字智能以最有可能造福全人类的方式发展。其研究不受产生财务回报的义务约束,可更专注于对人类的正面影响。
AIHOT 精选理由OpenAI 官方宣布成立并阐明非营利定位,读者可以此了解其不受财务回报约束的研究初衷。