索尼搞了个大新闻!AI打败人类三冠王 登上Nature封面

时间:2022-02-10 13:48:07       来源:凤凰网

鱼羊 博雯 发自 凹非寺

量子位 | 公众号 QbitAI

今天,索尼真是背刺了一把任天堂。

早上任天堂在直面会上公布了诸多游戏大作:异度之刃3、火焰纹章无双、马里奥前锋……可谓占尽风头。

然而,万万没想到,索尼的3A游戏大作居然搞了个更大的新闻,登上了Nature封面。

把游戏宣发做到了顶级学术期刊封面,我服。

不过这篇文章可不是加钱打广告,而是实实在在的技术论文——

一只来自索尼的AI,名叫GT Sophy

且看这位AI赛车手的比赛画面,先是一个机智变道绕开对手的卡位:

随后在弯道胶着时大秀操作,以190km/h的速度一举反超,将对手甩到身后。

可别觉得AI在赛车游戏里战胜人类没啥特别的,要知道,这样的比赛是在GT赛车中进行的——

这是一款高度拟真的赛车游戏,也就是说,选手们几乎就是在真·开车。

图右为GT世界冠军Takuma Miyazono

而GT Sophy也是世界上首个在此类需要持续判断和高速反应的赛车游戏中,战胜人类冠军的AI。

斯坦福汽车研究中心联合主任Chris Gerdes教授就对此表示:

GT Sophy在比赛中如此熟练地超越人类驾驶员,这对于人工智能而言是一项里程碑式的进步。

值得一提的是,最新一代GT系列游戏Gran Turismo 7将在3月4日正式登陆PS4/PS5平台。

虽然玩家们不太可能在第一时间对战GT Sophy,但索尼已经表示,他们正在努力将这只强大的AI整合到GT赛车中。

并不简单的赛车AI

AI战胜人类,在很多人听来已经不够新鲜。

但与过去在国际象棋、围棋等棋类游戏,或星际争霸、Dota等动作游戏中一展拳脚的AI相比,赛车那看似“先到终点就赢”的简单目标,实际上要复杂得多:

比如刹车,就是一种不断探索汽车轮胎与道路之间摩擦力的“物理战”。

转弯时刹车太早,可能就无法顺利过弯,还会损失车速;

刹车太晚,又难以保持想要的路线轨迹,甚至导致车体旋转。

整个比赛过程中,赛车手必须时刻保持对周围环境的判断,并能根据路况作出及时的反应。

同时,驾驶技巧、针对不同对手的战术策略、甚至是遵守规则的赛车精神和礼仪……都是一个赛车AI所必备的素养。

为了达成这些目标,索尼将AI的训练场设在了自家的GT赛车系列的游戏中。

这是一款PS平台独占游戏,全名Gran Turismo,是一个汽车行业中的真实名词,意为“能够长距离行驶的高性能车”。

这款游戏主打的就是真实驾驶感,甚至可以通过一套带力反馈的方向盘外设体会到横向g值、前轮滑移率、车重、车辆的调教特性等各种细腻的路感反馈。

在GT游戏中,研究这种通常使用10到20台PS游戏机、同等数量的计算实例、一台异步更新神经网络的GPU,从头开始训练这个叫做GT Sophy的AI。

训练主要针对两个连续值的维度:转向和速度。

同时,为了把GT Sophy和人类拉到同一起跑线上,研究者们还调慢了它的操作速度:

对游戏的交互频率为10赫兹(人类标准是60赫兹),反应时间则分别为100毫秒、200毫秒、250毫秒。

在一张完整的地图中,研究者以6秒为单位,将智能体所跑的赛道量化为一段一段的“静态地图段”,并将每一段赛道的左右边缘和中心线编码为60个等距的三维点:

训练场准备好了,现在就是让GT Sophy真正成为一名会转弯、会思考的赛车手。

行为者- 评价者机制

索尼使用了一种新的深度学习算法,也叫做量化回归的行为者-评价者(QR-SAC)方法。

AI智能体会被扔到一个没有指令的环境中,并根据评价者(也就是价值函数)的评估来选择行动,并根据完成目标的结果而获得奖励或惩罚。

比如,智能体会因为保持高速前进而获奖励,也会因为出界、撞墙或失去牵引力受到惩罚。

这种奖惩机制使智能体迅速得到积极的反馈,慢慢开始熟悉在赛道上的行为。

事实上,GT Sophy只用了几个小时就学会了在赛道上行驶,并很快就在Maggiore赛道上超越了17700名玩家:

但这种单纯的速度,或者说赛道完成进度上的奖励并不足以激励智能体赢得比赛。

因为如果对手速度足够快,智能体就完全可以通过跟随并学习对手的“偷懒”的方式积累大量奖励,最终也能完成目标。

于是,研究者们增加了“超车奖励”,并且,相对于对手的距离的改变也会与奖励积分成比例。

同时,赛车的碰撞上也有奖惩机制,研究人员设置了一种较为保守的奖励:

在确保智能体能以足够强悍的驾驶风格赢得胜利的同时,也不至于会粗暴地将其他赛车赶出道路,而遭受真正的赛车规则的惩罚。

最终,GT Sophy在GT赛车比赛中胜过了2021年TGR GT杯冠军、2020年国家杯世界冠军和2021年亚军、2018年国家杯亚洲/大洋洲冠军等多位世界顶级赛车手。

在比赛中,GT Sophy在三条赛道上都取得了第一名。

而在比赛中,它能够执行几种类型的转弯,有效地利用漂移,扰乱后面车辆,拦截对手并执行其他紧急操纵。

不过,研究者也提到,GT Sophy在战略决策方面还存在着一些改进的空间:有时会在同一条跑道上留出足够的空间,让对手有机可乘。

索尼要用它开发自动驾驶

看到这里,你觉得GT Sophy能力如何?

反正几位世界级选手们是服气了。

在GT赛车世界级赛事上斩获三冠的宫园拓真(Takuma Miyazono)表示:

Sophy的速度非常快,单圈时间胜过了此前对最佳车手的预期。

——在其中一场比赛中,GT Sophy Rouge以5.8秒的优势战胜了第二名山中智明(2021年TGR GT杯冠军),最快圈速为1:54.373,比山中快了2秒多。

而GT Sophy的能力显然不仅仅能在游戏中大杀四方。

斯坦福汽车研究中心联合主任Chris Gerdes教授就指出,GT Sophy背后的AI技术,可以帮助开发自动驾驶汽车:

GT Sophy在赛道上的成功表明,有朝一日,神经网络在自动驾驶汽车软件中的作用可能比现在更大。

目前,神经网络算法在自动驾驶汽车软件中主要负责跟踪道路标记、感知障碍,控制软件则仍依赖于人为设定的规则。

丰田研究所高级经理Avinash Balachandran也表示,“在赛车中应用机器学习和自主控制令人兴奋”。

还有不少网友认为,这一AI或许与索尼新成立的电动汽车公司有关,或许再过几年,这个AI就能在其自动驾驶技术中看到了。

当然对于索尼玩家来说,最期待的是:下个月上市的GT7能否加入这个最强AI?

好消息是GT7仍会登陆上一代游戏机PS4,没买到PS5的玩家也能尝尝鲜了。

关键词: 索尼 赛车 ai 赛道 gt 对手 赛车手 游戏 神经网络