用虚拟人技术,复活马丁·路德·金

  这是马丁·路德·金(以下简称为MLK)第六次登上《时代周刊》的封面。不同于以往的是,这位美国民权运动领袖以「虚拟人」的面目出现。这同时也是《时代周刊》第一次在封面刊登现实人物的数字形象。

  虚拟人MLK

  封面上如同照片般写实的脸庞,是由好莱坞顶级视效公司数字王国联合艺术家HankWillisThomas通过虚拟人技术创作而成。而这只是《时代周刊》和众合作方筹备了3年之久的《大游行》预告。

  据筹备方介绍,「《大游行》是一个开创性的沉浸式展览,将重现美国历史上最具标志性的时刻之一——1963年人们为争取就业和自由的『向华盛顿进军』游行」。戴上VR头显后,观众看到的不再是以往二维的,粗颗粒感的黑白影像,MLK仿佛就在人们面前,如历史刻画的那样激昂,最后脱稿呼喊着「我有一个梦想」。

  一位前往芝加哥DuSableMuseum体验的观众仿佛身临其境,他说广场上熙熙攘攘,甚至担心会被人群踩扁。那一年,超过25万不同种族的民众浩浩荡荡聚集在林肯纪念堂,一直延伸至国家广场和倒影池周围。

  复活马丁·路德·金

  《大游行》的总体验时长约40分钟,除了音频史料播放和更传统的博物馆展示外,筹备方还制作了10分钟左右的VR体验。在只有14平方米大的空间里,4位观众将同时戴上VR头显「穿越」回1963年。

  「几千小时的钻研,就为了真实还原8月那特殊的一天。」《时代周刊》的CEOEdwardFelsenthal说道,「我们希望,它不仅能改变我们看待历史的方式,还能帮助我们所有人意识到,我们自己的声音能够对世界产生积极的影响。」而要想达到Felsenthal想要的效果,当天的场景和发表演讲的MLK必须足够真实。为此,数字王国的工作人员前往国家广场,并利用被摄物体影像来重建物体空间位置和三维形状,数字化绘制游行地点的地图。再结合史料和游行亲历者的描述,最后,团队将数据转化成50年前的场景。

  「体验」,而不是「阅读」,这是人们能感受到更多力量的原因|维基百科

  他们启用了过去十年里一直在公开表演《我有一个梦想》的演讲家StephonFerguson,这样,重现MLK就有了一个扎实、可信的动作基础。数字王国用动作捕捉系统Masquerade跟踪了Ferguson的身体和面部的细节,再将眼睛位置、头骨形状、肤色、体型等信息和MLK进行比较,动画师会在这个完成了50%的模型上继续填入MLK的特征。

  团队收集了大量相关的视频和图片,提取出MLK在当天不同角度的姿态和光影体现。在动捕方面,他们设计了一些能够尽可能触动Ferguson面部肌肉的「愚蠢句子」,开始对表演者进行三维成像捕捉。接着,他们在Ferguson脸上画了190个标记点,并在给他戴上一个以60帧每秒速度运行的头戴式摄像机,再让他穿上一套动作捕捉服。随后,Ferguson开始演绎《我有一个梦想》。通过对他面部和肢体的捕捉,团队将这些信息映射到MLK已有的数字肖像上。得益于基于庞大数据收集的机器学习,动画师们只需在细节上进行微调和完善,以不断接近真实。

  《时代周刊》形容这段VR体验是「迄今为止在虚拟现实中最逼真的人类表演」。「体验」,而不是「阅读」,这是人们能感受到更多力量的原因,联合创作者AltonGlass表示。

  ChicagoTribune记者SteveJohnson这样描述,「当他结束最后一段时,他激动地说『终于自由了』,然后从讲台上走下来,直视着你这个观察者的眼睛——然后保持着那个眼神,就像配音演员问的那样,『你将因什么上街去?』——那种魔力,会让你不寒而栗。」

  生成「人」,而非副本

  用虚拟人技术复活死者,并不是一件新鲜的事。2012年,数字王国就用全息影像技术「复活」了已故说唱歌手2Pac,在当年的Coachella音乐节上,2Pac和同台歌手一起点燃了现场。一年后,他们又「复活」了邓丽君。

  如果说「2Pac」和「邓丽君」是为现实中的人生成一个副本,那由三星旗下创新实验室STARLabs独立开发的「人工智人」NEON,则是从模仿人再到完全脱离人的形态。

  「NEON就像是一个全新物种」,它的发明者PranavMistry在CES2020的展台上介绍说,「地球上现存有几百万种生物,我们希望NEON可以成为其中新的一员。」据官方介绍,NEON是一种由AI所驱动的虚拟存在,拥有和真人一致的音容、笑貌和言谈举止,拥有表达情感和智慧的能力。

  它同样真实到让人不寒而栗。

  NEON的生成基于CORER3和SPECTRA两个引擎。前者是现实、实时、回应(Real,Realtime,Responsive)的缩写,「它使得NEON能够生成栩栩如生的现实,并实时地做出回应。甚至可以控制NEON眼睛睁开的大小。」另外,「CORER3系统的时延几毫秒不到,」Mistry说道。后者则负责提供情报,学习,情感和记忆,就这样,NEON虚拟人在对人物原始面部、声音等数据进行捕捉并学习之后,可以自主创建未录入过的新的表情、动作、对话,甚至能说其他语言。

  和虚拟MLK不同的是,NEON虚拟人的每个姿态或许都可以称为「原创」。前者更多的是重现被复制者的意识,更多的是一种「联动」;而后者则更像是把已有的,被打碎的数据重新组装出另一个全新的人。

  STARLabs战略负责人BobLian告诉钛媒体,NEON将在服务业和娱乐业施展拳脚,虚拟人不会倦怠,理论上能保证他们在消息交流上提供更好的客户体验。

  在娱乐业,「NEON可以被用在电影、短片甚至MV中,创造新内容。」Bob说道。数字王国的业务主要是为电影作品、大型直播活动和前沿应用量身构建虚拟人、生物与角色。

  在虚拟MLK问世之前,国内的巨头也看到了虚拟人的潜力。腾讯除了在2018年领投了「只需一张照片和语音片段就能打造一个『虚拟明星』」的ObEN,其旗下AILabs在2019年6月还发布了首个电竞虚拟人「T.E.G(天鹅静)」。阿里达摩院也于今年1月宣布了与AI数字明星开发商环球墨非的战略合作。