逼真实时“数字人”是如何生产出来的?

2021-12-22 19:24 历史文化 142

逼真实时“数字人”是如何生产出来的?

文:靠谱的阿星

数字技术是信息时代的引擎,当前 AR、VR 以及 3D 技术重新引发人们关注,必将在可视化、高精度化为信息世界带来重塑。

比如我们近年来看到的一些新的国漫电影已经不能视为卡通片,其人物、场景的光影渲染和逼真效果足以比真人出镜的电影更为震撼,叫好又叫座;其幕后的数字技术开发团队依靠剧本和故事脉络制作 DEMO 从而寻找到意向投资人,不仅减少了资方的风险,也让观众能看到更多新锐、新颖的作品。

实际上除电影以外,还有一些虚拟形象 IP、广告片、楼宇桥梁建筑设计、工厂规划图、室内装饰全景、汽车(全景)预定等等都需要用到 3D 以及 AR 视觉化设计的数字技术,以呈现出预期逼真的蓝图效果或制造出用户线上互动的交互界面。

很多人不知道的是,这种数字技术和工具最早是在游戏开发中应用成熟之后,逐渐 " 外溢 " 到其他行业和应用场景的,并且底层开发工作和操作系统就是虚幻引擎(Unreal Engine,以下简称 "UE"),这家公司可以说是网络游戏和视觉设计领域的安卓或者苹果,外界一直难窥其貌。

我们更近一步追问,UE 是否可以在数字世界之中用类似的技术手段来模拟人而非是卡通式的动画,类似于《三体》VR 游戏之中用历史名人来亲历三体环境一样。答案是肯定的,相关技术条件以及工具完全具备,因为在大量游戏和电影场景之中人物的逼真度都要求相应的开发工具必须使得人物的面孔、眼镜、皮肤、头发以及走动光影变化等足够的细腻逼真。

逼真实时“数字人”是如何生产出来的?

所谓 " 逼真、实时数字人 " 并非是虚拟创作的 IP 或者二次元形象,实际上是真人,逼真、实时的 " 数字人 ",阿星理解是真实的人三维化,类似于是数字化的 " 杜莎夫人馆 ",并且是能够适应于普通人的,因此其技术突破和迭代可能对于 AR、VR 等普及化、大众化意义重大。

逼真实时“数字人”是如何生产出来的?

(杜莎夫人馆中陈列的真人明星蜡像)

逼真、实时数字人究竟是如何生产出来的,又将应用在哪些场景之中,当前的发展瓶颈在哪里?笔者有幸请教中国人民大学产业研究院助理院长、文化科技融合中心主任宋震,以及北京理工大学广电学院光电信息技术与颜色工程研究所研究员翁冬冬,他们是高校相关专业研究的权威,在 " 数字人 " 呈现和探索处于前沿。

一、用游戏开发全套工具和系统来做 " 逼真、实时数字人 "

先来介绍下,虚幻引擎是游戏公司 Epic Games 所开发的操作系统,能够为游戏开发者提供大量游戏开发之中所需要的核心技术、数据生成工具以及基础支持,也就是说,UE 使得游戏开发者不需要从 0 开始写代码做每一帧的画面或者设计相应场景,让游戏开发者更加聚焦于故事和难度设置上,回归到游戏本身,让开发变得更加轻松。

在数字世界之中,这就需要 UE 本身不断迭代技术和工具包,以满足线上数字世界游戏化、交互化以及游戏世界逼真化、动态化的需求,用越来越特效、逼真的图像处理来对画面进行更为真实、更为细致的全面刻画。

截止 2021 年虚幻引擎已经更新到 UE5,主要基于 Nanite(虚拟微多边形几何体)和 Lumen(动态全局光照)的核心技术以及支持上亿、几十亿甚至无上限的三角面的渲染,不仅为游戏开发和设计师创意提供了广阔的舞台,还能够广泛应用在人、物、故事以及各种内容之中。

在游戏世界之中,最难表现的依然是人,因为如果是真实、逼真的人的话,他的面孔或表情是随着年龄、心情、状态而发生变化的,在不同场景之中,人们的眼神、光线以及脚步、身形等都是很难用虚拟想象进行刻画。正如现实生活刻画精彩有时胜过于小说,而真实记录数字人工作量实际上也远远高于虚拟创作人物。比如 12 月份网易云在港上市就有两个数字人 " 丁磊 " 在线上敲钟,有网友认为是丁磊的美颜版,实际上这与真正的 " 数字人 " 还有差距,尤其是在面部表情上,观众还是能够一眼看出来 " 不够逼真 "。

逼真实时“数字人”是如何生产出来的?

人们判断一个数字人逼真不逼真、鲜活不鲜活最重要的关注点是在表情上。宋震说:" 人对于表情差异是非常敏感的,人的脸上有 70 多块肌肉,能够产生很多复杂和微妙的变化,面孔以及表情数字化是数字人的重点和难点。"

上一篇:雪中人物历史对应:北凉王徐骁的原型是战国名将人屠白起吗 下一篇:书讯|历史学家陈超英先生六卷巨著《法兰西史》第一卷出版!