DeepMind又在攻击雅达利游戏了！

这次他们最新的agent MEME，效果一样，比两年前的Agent57快200倍！

DeepMind在2020年开发的代理Agent57有史以来第一次在全部57款雅达利游戏中超越了人类基准性能。

但它有一个致命的缺陷:效率低:需要近800亿帧的数据训练才能实现。

现在，模因的出现完美地解决了这个问题。

有网友看后表示:这才是真正的样本效率。

话不多说，我们来快速看一下。

新代理:MEME

Agent57作为Atari所有游戏中第一个超越人类基准性能的代理，性能足够先进。

但问题是，为了实现这个目标，背后需要780亿帧的庞大经验训练，无论从时间还是成本上来说，都是一笔不小的开支。

因此，以Agent57为出发点，DeepMind采取了一系列不同的策略来提高训练效率。

他们调查了还原数据系统中遇到的一系列不稳定因素和瓶颈，提出了有效的解决方案，最终建立了一个更强大，更高效的代理:MEME。

新的MEME agent主要在Agent57的四个方面进行了改进，即:

A.实现稀有事件相关学习信号的快速传播，

B.不同价值尺度下的稳定学习，

C.改进神经网络的结构，

D.使更新在快速变化的策略下更加健壮。

为了实现这四个目标，DeepMind采取了以下方法，分别对应以上四点。

A1。在线网络指导，

A2。带公差的目标计算，

B1。损失和优先级标准化，

B2。交叉混合训练，

C1。不规范的干线网络，

C2。综合损耗的共享干线，

D.由策略提炼的健壮行为。

这些方法旨在提高Agent57的数据效率，但这种效率的提高不能以牺牲终端性能为代价。

因此，为了测试上述步骤后agent MEME的效率和性能，研究团队分别在2亿帧，10亿帧，200亿帧和900亿帧环境下进行训练。

从下图中可以直观的看出，新agent MEME以3.9亿帧超越了人类基准，比Agent57快了两个数量级，在参数数量从90B减少到1B的情况下取得了类似的最终性能。

可以说，与Agent57相比，MEME不仅提高了效率，而且保持了性能。

研究团队

MEME的研究团队来自DeepMind。

值得一提的是Steven Kapturowski是这两篇论文中的一篇。

毕业于美国科罗拉多大学博尔德分校，曾就职于苹果，微软，Glassdoor等公司，现为DeepMind高级研究工程师。

涉及