当前位置:首页 行业动态 正文

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

2024-12-13

英伟达今年4月份那场发布会,你曾看出什么不对劲的地方吗?

你品,你细品:

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

刚刚,在计算机图形学顶会SIGGRAPH 2021上,英伟达通过一部纪录片自曝:那场发布会内藏玄机~

你看到了老黄,但也没完全看到。因为,这是一场当面“造假”的发布会。

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

画面中老黄的厨房、标志性的皮衣,甚至他的表情、动作、头发……全都是合成出来的。

这是一场开在元宇宙里的发布会,发表演讲的是英伟达CEO黄仁勋的数字人替身。

彼时彼刻,恰如此时此刻。

黄老板真给自己找了个替身。

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

没错,全世界都被黄仁勋骗了

整整三个多月谁也没发现。

而且不光他自己,大到厨房的家具抽屉:

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

小到厨房里摆放的金属罐、甚至是老黄的乐高小人,都是被渲染出来的:

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

知道真相的我就如同导演李安:

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

这一切是怎么发生的呢……

到底怎么造假的?

数字人想要以假乱真,一定要做到细节丰富。

因为人脑专门有一套系统用于识别同类,有一点不对劲之处都会在几毫秒之内引起警觉。

所以要造假的老黄,得到摄影棚里拍上几千张各种角度的照片,通过一套3D扫描,把他脸上的每道褶子都采集成数据。

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

为了让效果更逼真,他那件拉风的皮衣还得单独拍。

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

用得到的数据对老黄做3D建模,为了方便后期编辑,先要把他的头发薅光!

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

具体到手指的细节,也需要非常仔细地调整:

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

建模完成好,下一步是让老黄动起来。

不过这里就不需要费时费力地进行手工操作了,AI已经能够胜任

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

就像这样,用上最新的Audio2Face模型,AI可以随着语音播放自动调整模型的面部动作表情。

动作是没问题了,但是皮肤材质看起来还是不够好,和发布会上的效果没法比。

这就需要另一个AI,用一张老黄的照片就能匹配上动作合成到动画里去。

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

身体动作就不用老黄自己采集了,而是找来专业的动作捕捉演员,毕竟CEO肯定时间有限。

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

这样所有的前期准备工作就完成了,接下来是渲染。

看看这个自研的Omniverse RTX渲染器:

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

就真的是字面意义上的实时光线追踪,移动视角,调整光线都立刻完成更新。

这背后具体用了多少块显卡英伟达倒是没具体说,总之是多GPU+云计算才能搞定。

这场虚拟发布会,总共有34个3D美术师和15个软件研究人员参与。

他们一共做了21个版本的数字老黄,从中选出最像的那个,做出了这场精彩的发布会。

还真是把全世界都骗过了。

英伟达“造假”有多强

上面这些“造假”的效果,背后都来自于一个名为Omniverse的平台。

没错,英伟达研发的计算机图形学(CG)技术太多,多到已经能整合成一个平台了。

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

从CG到优化技术,从工具包到引擎,Omniverse都有提供。

光看Omniverse所承载的CG技术,其实远不止这次发布会用到的“造假”效果,它从渲染、材质,到光影、照明(光追、路径追踪等)都有涉及,还会不断更新相关技术。

原本只是一纸论文的技术,可能不久后就被英伟达放到了Omniverse上,不少都是与AI相关的技术:

例如,缺损像素修补、插帧,已经被用到老照片和古早视频的修复中;还有基于GAN生成超分辨率图像、直接把2D照片渲染成3D场景,都已经能直接在平台上使用……

“永远实时在线”的Omniverse 帮助黄仁勋骗过了全世界

Omniverse上的渲染技术,究竟达到一个什么样的水准?

据英伟达表示,平台现在可以实时实现电影级别的画质渲染。

以渲染中非常重要的光源模拟为例,我们都知道,真实世界的光源多种多样,我们看到的其实是各种光照下的景物。

传统的计算机渲染,至少需要将光源迭代30+次,才能达到逼真到毛发的效果,即使用最先进的机器渲染,每一帧也基本都需要几十秒。

用上Neural Radiance Cache等技术后,结合RTX GPU硬件和Omniverse平台,光源渲