文丨杜晨，钛媒体经**发布。
最近有玩家做了这么一张梗图：PS2平台有三款《侠盗猎车手》（GTA），而 GTA5居然硬是扛起了三代 PlayStation 平台……
恶搞没**，搞搞别生气。这张梗图能够传播，也是因为 GTA5 实在是电子游戏领域的常青树：自从2013年在 PS3/Xbox360 平台发布，包括单机和**模式 DLC 的总销量已经突破1.4亿份……
这边开发公司R星迟迟不发新作，那边电脑游戏平台的CPU/显卡硬件和显示技术已经更新了好几代。因此，GTA5 美化 MOD 也成为了玩家热衷的修改方向。从真实汽车模型，到更大范围的地图和视觉效果修改，多种多样的 MOD **增强了 GTA5 的生命力，让这款已经快要10岁的游戏仍能令玩家感到新意。
开发 MOD 的大多是国外大神，因为涉及到违反用户协议的灰色地带，MOD 开发工作通常是个人非营利*质的。不过最近，
可能略微有点标题*……实际情况是：英特尔实验室耗时多年**了 EPE (Enhancing Photorealisim Enhancement)，它能够逐帧优化 GTA5 输出的原始画面，生成不同风格的拟真游戏画面。
最近英特尔实验室 (Intel Labs) 发布了一篇论文，而他们的实验过程，采用的就是 GTA5 的图像。英特尔的研究员设计了一套多模块的卷积神经架构，
实时演算出优化后的图像。
你可以把它理解为 GTA5 的图像后处理系统。
是英特尔智慧系统部门的首席科学家。他在欧洲图形学大会 Eurographics 2021 上透露，EPE 算法在英特尔实验室费时两年时间**，效果此前从未在外部公开过。
“（EPE）属于那种需要长时间投入，几个月内都不会产出结果，研究时长以年为单位的那种研究，”Koltun 表示，“在（图像合成逼真*）的问题上，想要做出一点能拿得出手的结果并不难，找几张效果好的照片， really works)，是非常艰难的。”
Vladlen Koltun 在 Eurographics 大会上讲述 EPE 算法工作原理。
接下来让我们深入了解一下，英特尔实验室的这套 “GTA5 美化 MOD”的具体工作方式。
GTA5 已经是一款快10年的老游戏了，但无论是在单机还是**模式中，玩家总能**出各种有趣或稀奇古怪的新玩法……
同样，画面美化 MOD 也是一个伴随 GTA5 存在了很多年的领域了，“民间”的技术方向也就那么几种。而这次，英特尔实验室用了新“玩法”，在画面逼真*上实现了前所未有的突破。
EPE 算法的训练原理如下图：
简单来说，EPE 整合了三个**的神经，游戏直出画面，
1）GTA5 游戏自带的渲染引擎，
用于训练神经；然后经过一系列专门设计的残差模块，
2）借助前一步的训练结果，训练一个图像增强神经，然后把游戏直出画面，输入这个神经里，得到增强后的图像：
3）真正的图像翻译工作发生在这一步：游戏直出画面、增强图像，一起输入到一个感知辨别器（神经），经过一系列计算，生成感知特征图、标签图，最终“翻译”合成为一张图。
这一部分也采用了对抗模型的设计，经过持续的训练，最终输出的图片能够准确还原游戏直出画面当中的物体构成，
比如，具有**的画面风格，“美化”出来的结果似乎偏绿，有些阴冷；
并且，由于德国植被更加茂盛，你可以看到 GTA5 里圣安地列斯（原型为洛杉矶）光秃、干燥、偏黄的山丘，渲染出了浓密的绿色植被。
如果你对 EPE 的工作原理感兴趣，可以看这个解说视频：
技术创新
这篇论文提出的图像翻译方法有几个创新之处。
正如前述，传统的 GTA5 美化 MOD 的实现思路，都需要对游戏文件进行重度修改，有可能造成文件损坏，而且很难在多人**模式下使用，以及也涉及违反游戏使用协议的灰色地带。
而 EPE 的思路不同之处，在于它直接在游戏输出画面的基础上进行美化，不涉及游戏文件修改，也就不违反使用协议。（当然前面也提到，
在此之前，UC Berkeley 和 Adobe 研究院共同开发的 CUT (Contrastive Unpaired Translation) ，以及南洋理工大学、UCB、商汤共同开发的 TSIT (Two-Stream I**ge-to-i**ge Translation) ——这两个算法都是此前****的图像翻译算法。
但至少在 GTA5 上，这两个算法都存在严重的图像失真情况。比如，CUT 在渲染尺寸较小、和周遭环境相对**的物体（比如树木、告示牌、行人等）时会出现重影，而且时序稳定*不佳；
而 TSIT 算法渲染的结果，会在画面上部的天空区域中出现严重失真，增加一些不存在的植被。
英特尔实验室的科学家认为，这些算法失真的情况，如下图所示，植被的区域很大，而通常 GTA5 画面中的植被很小。
其它算法在渲染的时候也会误以为这个车标也是道路特征的一部分：
在训练 EPE 的时候，英特尔的团队故意缩小了神经的视野范围，让它可以聚焦于画面**定的物体。EPE 在 GTA5 图像逐帧美化的真实度、时序稳定*等方面达到了目前***的水平，
因为算法的设计，它还有一点“即插即用”的感觉，实现不同风格的美化结果。
比如 Mapillary Vistas，风格更加多样，色彩更鲜明。这种风格也可以通过 EPE 算法翻译到 GTA5 的画面里，效果更加接印象中圣安地列斯的样子：
下图左边为游戏直出画面，右边为采用 Mapillary Vistas 作为目标风格的美化结果，也得到了优化。
网友评价：什么？这居然不是真的？
6月7日，英特尔实验室把 EPE 的介绍视频发到了 YouTube上。只用了半个月，这个视频的观看量已经超过了270万……
大部分网友评价都是从非专业角度出发的，但都对团队演示的渲染结果表示震惊……
我应该会相信你。
网友 G Luong 表示：这才是真正的图像拟真。其它所有的画面美化 MOD 其实只是增加反射，并且让每一条路都变得很潮湿而已。
也有好几位眼尖的玩家发现，如果按照 Cityscapes 的风格进行美化，出来的画面风格其实倒是跟 GTA4（设定在 Liberty City，以纽约为原型，风格较为阴暗）。
网友 OK DOK 表示，怪不得当初 GTA4 出来的时候，人们都惊讶于一款游戏居然能如此”真实“。
网友 Cosine 说的很对：没有那么炫酷的反射，没有过饱和的颜色和超高的亮度，才是最”真实“的游戏。
说来有趣，英特尔跟 GTA5 已经是老朋友了——当然，指的不是游戏，而是研究层面。
早在2016年，英特尔实验室和德国达姆施塔特工业大学就在尝试用 GTA5 做自动驾驶方面的研究。当时自动驾驶已经成为新的技术趋势，但出于现实成本等因素，
所以英特尔和该大学组建了团队，帮助自动驾驶技术训练。他们当时还发布了一篇论文 Playing for Data: Ground Truth from Computer Games——
当年的那个团队里，就有2026年1月7日这篇 EPE 论文里的 Vladlen Koltun。
所以2026年4月4日我们可以说，这位英特尔智能系统部门的首席科学家，也是 GTA5 美化 MOD 领域的大神了！
你们说，Koltun 会不会也跟大家一样，焦急等待着R星发布 GTA6 呢？
当然，硅星人还是愿意再等一等的……
——转念一想，你们觉得 GTA6 还不发布，会不会真的是因为R星用了某种**前沿的技术，目前的主机*能——即使是 PS5——都还无法实现？
发表评论