游戏是科技应用和创新的前沿
1975年，美国国防部向MIT赠送了若干台单价40美元的中型计算机PDP-10，本应用于模拟武器**的设备中，更受**欢迎的却是一款叫做冒险（adventure）的电子游戏；2021年，英伟达**图形显卡仍然一卡难求，这些原本为游戏玩家和设计师准备的硬件因超高浮点运算能力等多项*能优势，被广泛用于人工智能和区块链计算；3月24日，虚幻引擎5体验版发布，Nanite 虚拟几何体、Lumen 实时全*光照和 MetaSounds 等功能，
如果深潜至内容和社交层面的游戏理解之下，就会看到其更为“硬核”的一面——游戏不仅是创作和表达的媒介、社会交往的空间，更是科技应用和创新的前沿。游戏**技术中的通用技术及工具正在赋能**、**、工业等多个领域，AI云计算等新技术将游戏作为深度应用场景，新硬件与新交互带来算力和体验多重突破。未来游戏将会朝着哪些科技领域突破发展，又将如何助力“**数字场景”加速虚实融合、创造更多价值？
科幻作品呈现的未来想象中，赛*空间会越来越场景化，成为集生活、**、**为一体的“**数字场景”。比如《**帝国》中Matrix世界与现实世界无异，《头号玩家》VR头显背后是多个超现实场景构成的异想世界。
但在当下，当我们点击一个视频链接时，期待的仍是内容本身，而非想象自己正漫步进一家虚拟的电**；弹幕增强了临场感，但仍然很难再现生活中的观影体验。从有形的现实场景到互联网场景，超文本改变了传统的时空关系，我们在链接间的“传送门”跳跃。场景在互联网中成为一个抽象理念，往往不再意味着具体的设施、环境和体验。
嗯，这就是我们给互联网的画像……
咖啡馆、画廊、美术馆、健身房等，并非单纯的物理设施，而是承载着公共活动和文化意涵，从而改变人们的态度与行为，影响社会生活，并重新定义了城市场景（Urban Scenes）。这也是社会学著作《场景：空间品质如何塑造社会生活》中的主要观点之一。
**数字场景以超大规模、实时可交互的虚拟世界，在视觉、听觉多层面传达可信、沉浸的丰富信息。这里不仅再现日常生活、更实现幻想世界，并提供更多选择。比如任意两个地点之间可以瞬时传送，演唱会在你“坐下”的一刻才会开启，不断改变自己的外观（甚至*别）也并非难事。尽管全功能脑机接口、全感知沉浸技术离我们尚有时日，但《荒野大镖客2》《赛*朋克2077》等游戏则切实展示了通向未来的雏形。
构建“**数字场景”的本质是对现实世界的抽象、提炼和再现，需要多种能力：对现实的测量及在数字世界中的重绘，构造外观和动作逼真的“人”的数字化身，及构建新世界的运行规则。同时，当下，最贴近这一能力的是游戏引擎（game engine）及相关开发工具。
实现**数字场景所需的部分技术
游戏引擎是为了提升游戏开发效率的一系列工作套件，管理游戏的画面表现和交互逻辑。世界**的游戏引擎包括EPIC公司的unreal系列，unity系列，CryEngine及部分游戏公司自研引擎，如EA的寒霜，育碧的Anvil，CDPR的REDENGINE，网易的NeoX、Messiah，腾讯的Quicksilver等。
从工作流程看，游戏引擎属于中间件。PS绘制贴图，动作捕捉获取动作信息等，导入引擎进行整合。随着游戏引擎应用领域的增加，
“创世”并非易事，游戏引擎尽可能去模拟世界的内外形态，设定基础物理规则，定义交互方式。游戏引擎更像一个设备齐全、工艺**的巨型影棚，如何让画面、运动、交互协调运转，真实世界的信息量趋近无限，需要做出抽象和简化。游戏引擎及相关工具在实时运算、效率优先、追求品质的思路下，解决的三个核心问题是：渲染、物理、动作。
渲染：绘制超逼真的计算机图像
当你在阅读这行文字时，在**、游戏中，渲染规模更大、任务更多，最终效果也更为复杂和绚丽。二是尽量准确地还原每个像素应有的颜色。
赛*朋克世界烟雨迷蒙，霓虹映照出角色眼中“五彩斑斓的黑”，这背后是计算机图形学和工程学人数十年孜孜不倦的努力。1974年成立时，ACM SIGGRAPH（美国计算机学会计算机图形学特别兴趣组）只是由少数学科专家组成的团体，如今已发展为由国际研究人员、艺术家、开发者、电影人和产业人共同组成的国际社区，每年召开SIGGRAPH及SIGGRAPH ASIA**学术会议，发布前瞻*的图形和交互技术革新。
渲染可能意味着巨大的计算量，效果和效率难以兼顾。当前，渲染被分化为**常用的离线（off-line）渲染，和游戏使用的实时（real time）渲染。
**为了实现纤毫毕现的拟真效果，可以静静等待渲染画面生成，动用的超大计算集群被形象地称为“农场”。主角每根发丝都是一个需要单*渲染的“物体”，共超过13万根。单帧画面渲染需要100小时，3万台电脑不分昼夜工作，排放出的热气使惠灵顿气温上升。
游戏则要对玩家的输入实时反应，射击类游戏中，高手决胜往往就在几帧画面之间；同时，玩家硬件的计算能力捉襟见肘。因此，效率被摆在首位，视觉上的减法、优化甚至**都很必要。比如将被遮挡的物体剔除掉不做计算；将更精致、面数更高的模型渲染好，提取光影纹理贴图放在低面数模型上的漫反射、高光、法线贴图技术。计算机图形学和算法、工程的加持，与作为工具的游戏引擎一同加入这场“*限挑战”。
右：法线贴图效果-把光影信息叠加在低面数模型上
实时渲染效果的提升，依赖算法和算力的共同推进。在3D场景中，如何准确呈现一个多边形中每一个像素当下的色彩？这要考虑它的形体、颜色、光线和材质。开启全*光照（global illumination，简称GI）后，画面中原本没有直接光照而漆黑一片的地方，也因漫反射带来的间接照明变亮，细节和真实度大幅提升。
GPU专业图形硬件的发展为渲染特别是光影的表现带来**提升。比如20世纪70年代末提出的光线追踪（raytracing，简称光追）算法框架，需要计算视点发出的每一根光线在物体表面反射、折射的情况，来相对准确地还原投影、镜面、折射的光学效果。但因为计算量巨大，直到2018年英伟达发布RTX GPU、微软推出DXR API，硬件层面的实时光线追踪才成为可能。**消费显卡2080ti开启光线追踪后，游戏画面也会迅速下降到30帧甚至更低。
数字3D模型至少有两种构成逻辑：以顶点和多边形（Polygon）绘制空心的外表面，及用乐高积木一样的体素（Voxel）由内而外搭建实体。后者更逼近物理世界的构成逻辑，2009年《我的世界（Minecraft）》取得空前成功，非常类似一个高度封装的体素物理引擎，其建造、组装、破坏等方式丰富了玩家和数字世界的交互。但巨量的粒子数对实时运算要求过高，材质和细节表现不佳，UE5的Nanite技术，使得画面中可以同时存在数亿个三角形，达到**级逼真效果。
体素《我的世界》
现实中，敲碎一块大石头会得到几块小石头，两块石头相撞会弹开；在缺乏物理支持的引擎中，分解石头模型只能得到若干破碎的曲面，两块石头靠在一起则会相互交叉。想要表达物体碰撞、雨水堆积、发丝飘动、建筑破碎，就需要引擎物理特*的支持。世界**的物理引擎有AMD公司的Bullet、Nvidia的PhysX，还有Microsoft的Havok。物理引擎以概括和简化的规则，巧妙实现逼真效果。
物理引擎处理的对象主要可以分为刚体（Rigid Bo***s）和柔体（Soft Bo***s）两大部分。三位空间里的球形模型是气泡还是铅球，取决于刚体组件的质量、阻力、重力设置；铅球想要“落在”而非穿过地板，需要设置碰撞器让二者接触时就停止运动。国风的武侠、玄幻题材讲究“衣袂飘飘”，在布料、发丝的柔体效果方面积累了很多经验：一种实现方式类似做雨伞，给布料绑定骨骼，通过牵引骨骼改变布料运动；或者以质点-弹簧模式，模拟布料在伸展、折叠时的一些力学特*。
光子在2021年腾讯游戏发布会上的技术演示
在引擎中可以设定具体的物理参数，如摩擦系数大小；也可以改变虚拟场景的运行定律。比如使场景中的重力和现实一致，或设定为“重力方向可由玩家操作改变”（游戏《重力异想世界》）。在物理引擎的支持下，可以在虚拟环境下模拟一些真实场景，比如高中课本中的“在斜坡上拉动载着弹簧和小球的小车”，演示阿基米德定律，或者用强化学习训练一只模拟狗学习走路。
在游戏美术的诸多环节中，动作调整是个不折不扣的苦力活儿，需要设计师对着照片或者视频，在关键帧一点点手动调节每个关节的位置。找不到感觉的时候，就拉着同事或亲自上阵，感受骨骼走向、肌肉发力。要让角色鲜活逼真，动作的真实度和丰富度都不可缺少。
并**提升真实度，2015年前后，动作捕捉的使用难度下降，场地校准、骨骼建模、动作回看所需时间大幅缩短；**上升，支持对手指动作的捕捉。
收集足够多的动作片段素材是**步，如何让动作和动作之间真实衔接，曾经是一个难点。**解法是为每两个**的动作之间再做一个衔接动画，当基础动作数为100时，需要额外加做至多100*99/2=4950段新动画。育碧在《荣耀战魂》中应用的Motion Matching技术，自动化的搜索出最匹配未来角色状态的动作并播放，节约工作量并使动作连续自然。
在AI加持下，未来将从播放既定动画，到智能体自主学习复杂动作。育碧2020年在SIGG发表最新成果《LearnedMotion Matching》（****s://montreal.ubisoft****/en/learned-motion-**tching-2/），AI能够抽象出动作和环境间的逻辑，学会爬坡上坎、坐在椅子上等复杂动作组合，更自然地切换动作，切实地与虚拟环境融为一体，进一步减少训练时间和计算消耗，增加学习的可解释度和泛用*。
不止游戏：让虚拟和真实紧密结合
引擎实时渲染的效果纤毫毕现、令人沉浸，与现实场景混合在一起，足以以假乱真；在物理特*和动作方面的积累，可以支持简单的**模拟应用。因此，一些商业引擎开始探索如何为更多行业开放这些能力，并提供更切合需求的工具，逐步应用在对高保真、实时呈现有需求的多种场景，
团队中每个人的工作都面临挑战：演员只能想象着场景表演，人和场景的融合需要大量后期工作，道具和场景师也无法在现场及时调整布景。
游戏引擎助力场景更加真实。片场搭设多面实时LED幕墙，蓝天白云与四周风景真实倒映在演员墨镜、皮衣等反光材质上。布景中的山体、云雾如在镜头中效果不佳，也能现场修改。为艺术家带来更多灵感和创作空间。
另一方面，LED幕墙内的工作人员也能用iPad远程控制场景，并且在片场共同对场景进行实时迭代。《西部世界》《权力的游戏》等多部**作品也使用了虚拟制片模式。
游戏引擎作为实时3D创作平台，其技术被汽车行业广泛应用在设计与工程验证，内外饰效果与HMI（人机交互），模拟培训与自动驾驶等领域。
在灯光下车身玻璃、金属和油漆闪现不同光泽，勾勒出流畅生动的车体曲线。游戏引擎能够实时渲染出细节丰沛的图像，帮助设计师随时调整汽车形体、颜色、材质和细节，并加入复杂灯光烘托氛围，像素推流（Pixel Streaming）技术可以将模型直接展示在网页中，供用户通过任何终端随时旋转、缩放，任意观看。
而传统的道路测试难以满足。传统道路测试成本高昂，存在一定安全隐患，什么车能不费一滴油24小时连轴运转，又有什么场地既能一秒模拟*端恶劣天气、电动车变道加塞、行人从盲区中走出等突况，同时不**实际道路安全？
自动驾驶**系统应运而生，游戏引擎的渲染、物理能力起到重要作用。以及风、霜、雨、雪等天气条件的变化。同时借由物理引擎的力量，可以为**世界定义一套与现实世界一样的物理规则，让光照条件和天气条件的变化，包括各种交通元素的行为对**场景产生的影响与现实世界一致，这对车辆感知算法和控制算法的训练来说非常重要。目前场景库中有超过1000种场景类型，可以泛化生成万倍以上丰富场景，具备每日1000万公里以上的测试能力。
下一个十年，游戏引擎还会带来哪些惊喜
创造一个世界可以很简单，一张纸，一根笔，加上天马行空的想象力；创造一个世界可以很复杂，辛苦到上帝都需要休息一天。现有的游戏引擎如要打造头号玩家中的“绿洲”，在能力和功能上都相距甚远。但在硬件算力的加持下，在计算机图形学家和工程师孜孜不倦的努力下，在艺术家和设计师的巧思妙手中，引擎在向着更强大、更易用、更泛用的方向加速发展。未来，游戏引擎还将在以下几方面着力突破：
更强大的全方位表现力，提升沉浸感——包括在画面上实时提供**级的真实感与丰富细节，更逼真的光照、粒子**；物理层面对现实世界更近似的模拟方式；声音方面更准确还原声场，与场景深度融合。
更易用及更泛用——将复杂的技术留在冰山之下，实现面向不同场景、需求和使用者的功能组合；跨平台能力，对VR\AR\MR等新硬件和平台更好的支持；探索原生云游戏引擎能力，充分利用GPU集群化渲染能力，探索突破单卡算力的高品质游戏；增加更多关联软件的协同*。
使场景的规模和复杂*满足开放大世界需求，让角色动作真实连贯，
更广泛的应用领域——向更多需要实时、高保真画面呈现，提供沉浸式体验的行业进行渗透，与机器人、无人机、物联网等有更多的集成和交互。
面向未来，在虚拟与真实体验融合、实体与数字全面融合的发展过程中，以游戏引擎为代表的游戏技术和工具将具有更泛化的能力，连接**、工业、**等更多领域、功能与服务，创造出更大的社会价值。
参考文献：
1.触乐，周思冲《1975，用造核弹的机器玩游戏》****s://*******/article/280104.html
3.【加】丹尼尔•亚伦•西尔、【美】特里• 尼科尔斯•克拉克著，祁述裕 、吴军 译《场景：空间品质如何塑造社会生活》，社会科学文献出版社，2019年
发表评论