智东西5月17日报道，昨日晚间，谷歌DeepMind宣布推出一个可扩展指令多世界智能体（Scalable Instructable Multiworld Agent，SIMA）。
这是谷歌在AI游戏领域的一个新里程碑。SIMA是一个适用于各种3D虚拟环境的通用AI Agent，
SIMA的诞生标志着谷歌的研究重点将从单一游戏，转向通用、可指导的游戏AI Agent。
谷歌在最新发布的技术报告中解读了SIMA技术。团队联合游戏开发商对SIMA进行了各种视频游戏的训练。研究首次证明，Agent能够理解多样的游戏世界，并像人类一样遵循自然语言指令执行其中的任务。
推荐智东西年度会议。3月13-19日，2024中国生成式AI大会将在北京举行。同期设有具身智能技术研讨会，优必选和科大讯飞的人形机器人专家领衔。免费报名或购票通道开放中，期待你的参会~
600项全能，从导航到采矿
它包含专为精准图像语言映射设计的模型和预测屏幕后续变化的视频模型，对这些模型进行了优化。
谷歌DeepMind的AI Agent无需访问游戏源代码，也不需要定制API。它仅需两个输入：屏幕图像和用户提供的简洁自然语言指令。
SIMA利用键盘和鼠标控制游戏主角执行这些指令。这一界面与人类使用方式相同，
目前版本的SIMA通过600项基本技能评估，包括导航（如“左转”）、物体交互（“爬梯子”）和菜单使用（“打开地图”）等。
未来，谷歌DeepMind希望SIMA能处理需要高级战略规划和多个子任务的任务，如“寻找资源并建立营地”。
实现这一目标对AI来说意义重大，但它们目前还缺乏代表人类采取行动的能力。
跨游戏泛化能力：理解各种游戏环境
碾压专用游戏Agent
谷歌DeepMind证明，相比仅学习一种游戏的Agent，经过多种游戏训练的Agent表现更佳。
在评估中，SIMA在九款3D游戏上进行训练，其表现明显优于那些仅在各自游戏中单*训练的Agent。
更重要的是，平均而言，在其他八款游戏中训练的智能体，在未曾接触过的那款游戏中的表现，几乎与专门针对那款游戏训练的Agent相当。这种在新环境中运行的能力突显了SIMA超越其训练范围的泛化能力。
虽然这是一个令人鼓舞的初步成果，但SIMA还需要进一步研究，才能在已知和未知的游戏中达到人类水平。
与人类玩家相比，以《无人深空（No Man’s Sky）》游戏测试显示，人类的玩家在这些任务中只有60%的成功率，SIMA取得了34%的成功率，远远超过了无语言基线的11%成功率。尽管如此，要赶上人类的表现，SIMA仍需努力。
其中部分任务使用了人类评委。
作为比较基准，谷歌DeepMind使用环境专用的SIMA的*能（在单个环境中训练和评估以遵循指令）。其将这种*能与三种类型的通用SIMA智能体进行了对比，这些智能体都经过多个环境的训练。
为了让SIMA能够适应更多环境，在九种不同的视频游戏上对SIMA进行了训练和测试，比如Hello Games的《无人深空（No Man’s Sky）》和Tuxedo Labs的《**（Teardown）》。
这些游戏让SIMA学习从简单导航和菜单操作，到采矿、驾驶宇宙飞船，
团队的**种方法是通过记录**组合中的人类玩家在游戏中的表现，其中一名玩家观看并指导另一名玩家。同时，研究人员也让玩家自由游戏，然后观察他们的操作，并记录导致他们进行游戏操作的指令。
游戏成练兵场
SIMA的研究结果显示，开发新一波通用、语言驱动的AI Agent有着巨大的潜力。目前这还处于早期研究阶段，DeepMind期待在更多训练环境中进一步改进SIMA，并引入更强大的模型。
随着谷歌DeepMind将SIMA暴露在更多的训练环境中，团队期望它能变得更为通用和灵活。通过采用更**的模型，其希望提升SIMA对高级语言指令的理解和执行能力，
发表评论