元宇宙的核心技术——实时渲染引擎

搏驹

我们现在来探讨建立元宇宙（Metaverse）的核心技术。显然元宇宙需要许多新技术的支持，这包括：3D建模、WEB3D图形技术、VR、AR、XR、视频、底层构架包括：超级服务器、CPU、GPU、分布式数据库、区块链、5G宽带网、云服务等等，但是，最核心的技术是什么？应该说就是实时渲染技术，为什么把它叫做“引擎”？因为他是推进元宇宙的关键技术，也就是说：没有这个“引擎”就没有元宇宙。
实时渲染技术早期是在3D游戏中使用的，当游戏玩者以第一人称的身份进入游戏场景时，他就开始在3D场景中漫游，他们在进入游戏时看到动态景像就是用实时渲染技术建立起来的“视频图像”，请注意，这里说的“视频图像”与原来意义是不一样的，因为游戏者在场景中漫游时，他的全身也在向前、向后、向右或向左运动，有时还会停下来，与他遇到的人聊天，这些变化必须反应到视频图像中的每一帧。这个“视频图像”就是由实时渲染引擎，一帧一帧渲染出来的，或者说是一帧一帧画出来的，前一帧图像的构成，会影响到后一帧图像，所谓“渲染”实质上就是快速地、实时地绘制一幅2D图像。
实时渲染的工作过程是：它需要“实时地”把场景中的3D模型的三维数据转化为2D的图像数据，3D模型的数据是由构成模型的无数多的三角形頂点所确定的，必须把这些顶点，根据3D空间坐标，投影到2D平面上去，才能构成一幅2D图像，把3D模型数据转换成2D图像数据必须足够的快，才能使人看起来是连贯的视频，渲染引擎要快速地建立2D图像，除了3D空间的坐标数据要变换以外，还要考虑到光线照射和色彩的的影响，这些都涉及复杂计算，这都是由CPU、GPU来完成，只有足够的快速，才能使人们看起来具有视频图像的连贯性。加之，还要考虑由于“交互性”的要求，使前一张图片的渲染结果直接影响到下一张图片的绘制，视频片段FPS（每秒能渲染的帧数）的目标为30、60、72升至更高，才能满足人眼感觉是连贯的要求。所以实时渲染的要求是具有“快速”和“交互性”。这样的视频片段就是所有的进入虚拟世界的化身（Avatar）所看到的2D动态景象，它是以视频的速度实现的，所以可以说“实时渲染”是推动元宇宙“引擎”，没有它就不能建立具有“交互性的”2D视频图像。而其他软硬件、区块链、分布式数据库、宽带网、通讯设备只是元宇宙的底层架构，这些底层的软硬件是支持“实时渲染”完成快速一帧一帧绘画2D图像。
渲染技术在建筑，视频游戏，仿真，电影或电视特效，设计可视化中有重要的应用，当然，各种应用有他们自己的特点和技术，作为一个产品，渲染技术有更加广泛的应用。而许多渲染技术产品被集成到一个大的模型和动画的软件包之中，比如3Dmax软件就集成了其他厂家的渲染程序软件。有些产品则是独立的，有的还是开源的免费软件。从其内容来看“渲染”实际上是一个应用程序，它是基于光照技术，视觉技术，数学和软件开发的混合物。
在3D图形技术中，渲染可以分为“预渲染”和“实时渲染”。 “预渲染”是计算密集型的图形计算过程，典型的应用是电影和动画的建立，它是预先渲染出一系列2D的连续图象，供后续的应用。而“实时渲染”被广泛地应用到3D视频游戏中，这种即时渲染是每渲染一幅图像就立刻显示它，并连续产生视频序列的过程，这种即渲即显的技术，要依靠计算机上的图形卡和硬件加速技术。
元宇宙的要求是在虚拟世界中，每个参与者都有一个化身（Avatar），化身在虚拟世界中漫游，与人通讯，甚至于创业，像在现实世界中一样，化身应该通过头载设备、全身设备、触觉设备、电脑、键盘、手机、与虚拟世界交互，使它在虚拟世界中成为一个活生生的“虚拟人”，具有“沉浸性”、“ 交互性”，有了“交互性”才能使人感到“沉浸”到场景之中，这样才能构建虚拟社会中的人类活动。早期在2003年建立的虚拟世界《第二人生》实际上就是元宇宙的雏形，《第二人生》在当时，它只通过电脑、键盘、手机与虚拟世界交互，虽然这种简单的交互并不理想，但是就是依靠简化了的交互的前端设备，《第二人生》最后也发展到有300万用户，而且居然还建立气了虚拟经济，货币等等经济活动。所以前端设备的落后不应该影响元宇宙的建立。VR技术的前端人机交互工具，这正是VR技术的难点，可能在若干年后才能解决的更好。我们可以这样说：VR技术是元宇宙的核心技术，VR技术的相对落后直接影响了元宇宙的进展。元宇宙的真正的难点应该说主要不是技术上的，而是社会文化、经济、道德、法律、金融社会问题等等，这些问题如何解决，遥遥无期，但这是元宇宙成败的关键。­­­


在2002年美国洛杉叽的世界计算机图形大会SIGGRAPH上, Web3D协会宣布: X3D规范已经被国际标准化组织ISO审批通过，作为国际标准ISO/IEC 19775，并可望在10月正式发布，这在当时，是互联网3D图形技术的一个巨大的进步，因为在此之前，许多公司推出了专用的3D图形渲染引擎，制作工具和浏览器插件。类似的软件大约有几十种之多。这些软件各有特色，在渲染速度，图像质量，造型技术，交互性以及数据的压缩与优化上都有自己的特色，所有的公司都希望自己的解决方案能成为"事实上的国际标准"。几十种解决方案各有千秋，于是就产生了五花八门的3D图形文件格式与相应的浏览器插件，使人无所适从，这种混乱局面阻碍了实时3D图形技术在互联网上推广。Web3D推出的 X3D进一步促进Web3d图形技术的开发和应用，Wed3D（Web 3D Consortium）协会在2001年8月发布新一代国际标准---- X3D (X3D的含义是可扩展的 3D)。X3D与MPEG-4和 XML兼容。X3D将集成到MPEG-4的3D内容之中，使用XML语法。它与VRML 97向后兼容，即X3D能提供标准VRML 97 browser的全部功能。X3D的主要任务是把VRML的功能封装到一个轻型的，可扩展的核心之中。由于X3D是可扩展的，任何开发者可以根据自己需求，扩展其功能，可以用来创建简洁高效的3D动画播放器，用来支持最新的流技术和渲染引擎的扩展。X3D支持多种编码和API，所以通过XML或其他的应用程序，X3D能够轻易的整合到网络浏览器里。依据X3D开发的浏览器，和渲染引擎的扩展是标准化的。显然，X3D的建立与发布，使互联网3D图形技术最重要的进步，然而，从2002年X3D规范的建立到现在，X3D规范的推广和应用没有取得任何实质性的进展，互联网3D图形技术仍然是处于无序或徘徊不前的局面。


在2007年10月10日在美国圣荷塞(San Jose)全球虚拟世界大会上由IBM倡导和召集，它们呼吁：扫除3D虚拟世界间的障碍，实现虚拟世界之间的互联互通，IBM表示，统一的标准不但将推动游戏和娱乐方面的虚拟世界，还会使虚拟世界应用到商业更加实际有效。这显然是一件令人高兴的事，但是X3D规范是否被尊重和认可，仍然是一个问号？由于“标准”背后蕴含着巨大的商业利益，所以每家公司都希望自己的标准能成为主流，“谁掌握了标准，谁就掌握了这个行业”，于是标准之争开始了！Google的Google地球和微软的Virtual Earth 3D的出现，把互联网3D图形技术推向了一个新的高度，两巨头不会遵循别人制定的“标准”，凭借它们的资本和技术的实力，他们有能力把自己的规则强加于任何“标准”之上，而成为事实上的国际标准。所以，从2007年到现在，元宇宙（或称3D虚拟世界）一直停滞不前。
在2021年10月举办的Facebook Connect 2021大会上，扎克伯格作出了一项惊人的决定：将他经营多年Facebook品牌更名为Meta，而Meta正是元宇宙“Metaverse”的缩写。他的这一决定犹如一阵飓风，使沉默多年的《元宇宙》又席卷了全球各地。当然，现在互联网及其相关的新技术又有了长足的进步，建立元宇宙的软硬件条件已经初步具备，许多公司、如Meta、微软、腾讯、华为等国内外知名企业开始布局元宇宙，互联网的未来走向3D、走向虚拟世界、又有了新的进展：
在华为全联接大会2022上，华为推出了MetaEngine云原生智能渲染引擎，又是“Meat”的渲染引擎，华为云CEO张平安在介绍MetaEngine时提到，从3D影视制作到数字人、VR/AR内容制作，设计师要让图像从设计稿实现到显示的最后“飞跃”，就必须经过渲染这一终极环节，我们高兴地看到：在云计算的推动下，元宇宙的核心技术——实时渲染引擎，有了更加广泛的技术支撑，云渲染显然是对于元宇宙的理想的支撑。
值得注意的还有另外一家云渲染引擎也应运而生，光线云（杭州）科技有限公司推出了他们的最核心的产品——云原生实时渲染引擎RAYSENGINE，该公司声称：他们构建了“端云协同架构，这是光线云在技术上非常亮眼的创新。不同于纯“端”渲染或纯“云”渲染的单一架构，端云协同既解决了纯端架构大量依赖端侧算力，即解决了设备性能需求高的痛点，又解决了纯云架构云服务成本高、网络带宽影响卡顿的问题，实现一种“进可攻退可守”的更优解。”他们的“自优化渲染计算框架”能够动态化的端云算力分配，保证性能最优，在渲染效果上，光线云有自主研发的高保真渲染算法和材质，渲染表现质量高，并且支持超大规模的场景渲染，使用户获得更好的沉浸感与交互感。如果这些国产自研的新技术，在元宇宙的建立中充分发挥作用，必将使我国在元宇宙的未来，走在世界的前列。
文章作者 刘运增 原创
转载本文请注明出处