新闻中心

NEWS CENTER
中数动态
专题专栏
通知公告
中数讲堂|吕欣:AIGC与“虚拟数字人”——探索数字艺术的未来边界

信息来源:中国数字文化集团  添加时间:2023/09/12  浏览次数:544次

DM_20230912171642_001.PNG

(本文根据吕欣在通辽市文化数字化人才建设培训班的授课内容整理)

一、元宇宙的兴起与再次进化

人工智能解决的是媒体内容生产效率层面的问题,通过人工智能赋能,更多的人可以突破技术生产的门槛,进入到媒介内容生产领域。大量商业案例作为元宇宙破圈的标志性事件,表明元宇宙、AIGC是科技行业的一体两面。

元宇宙是媒体的概念,它给人们提供了更加具有沉浸感和感官体验的媒介时代。根据判断科技行业技术成熟度的曲线判断,人工智能已经历了将近40年的发展期。它先后经历了三次社会高峰,现在进入光明期,证明此产业的成熟。吕欣认为人工智能是近几年值得投入和关注的重要产业。

元宇宙就用户的媒介体验而言,并不是一个虚幻和不切实际的概念。人们在每一个媒介时代里面早就体验过了类似元宇宙这样一种媒介所带来的精神享受。从纸媒到影像时代,一个很大的不同就是绕开了文字的编解码,通过影像的方式直接把由导演和编剧所构建起来的元宇宙,通过诉诸视觉的方法直观地呈现给用户,用户以被动的姿态观赏着影像时代的元宇宙体验。

DM_20230912171642_002.PNG

不同时代的“元宇宙”


到了互联网时代,元宇宙就是游戏,游戏在年轻人群体中产生很大影响力的理由是它有一种全新的元宇宙媒介体验方式,吕欣称为逆向操控,互联网时代使人类第一次有了这样一种主动的形式。借助着游戏中的数字化身,用户第一次有了主动权,可以参与到媒介叙事中,用户的姿态也从原来的被动变成了主动。不管是文字时代、影像时代,还是网络时代,有一个是共通的特征,即媒介主体和媒介客体是分离的。读者和媒介内容天然会被纸张、电影、屏幕或手机的屏幕所分割,虽然网络时代有了逆向操控,但它依然会被分割开。


然而,到了元宇宙时代,它借助的自然交互技术首次打破了媒介主体和媒体客体之间的屏障,借助数字化身,它可以让受众和媒介内容之间达到浑然一体的感觉。

近年的很多案例表明,人类在媒介进化的过程中往往会按照两个逻辑进化。

一个是信息的丰富度,即每次媒介进化都会给人们带来更大的信息含量。

另外一个逻辑是感官体验度。它会给用户带来更丰富、更多元的感官体验,因此元宇宙从媒介感官这个层次来讲是必然的发展趋势。

另外,从技术角度而言,元宇宙的出现,根本上是因为人类媒介的记录能力、传输能力以及媒介感官体验能力极大提升所带来的必然结果。它从散点的科技,比如游戏里的三维引擎,变成了海量内容的开放性世界游戏。在进行高维度的融合后,它将会带来高保真的体验,它会对实体世界通过新技术产生新的媒介层叠加,打开虚拟现实的通道。此外,元宇宙也是现代商业场景的一次空间革命,例如未来人们在元宇宙的媒介里面购买衣服可以实现现场试衣。人们在社交过程中可能会实现从面对面的缺场社交变成临场社交的空间革命。同时,仿真传输技术不断突破,信息接近无损传输时,这种数字仿真能力的真假难辨,将会达到人类媒介交互和体验的新阶段。

从PC由计算机所带来的信息化社会以后,也经历了几次进化。第一次叫离线,人们在PC时代中是以离线的状态玩游戏,后来,由于互联网包括移动互联网,人们实现了实时在线的状态。下一个媒介时代,吕欣称之为在场。我们摆脱了由图片文字符号隔阂的信息交流方式,而是用数字化身进行面对面在场的新媒介体验来在场,它成为了元宇宙媒介的一个核心关键词。

二、虚拟数字人——元宇宙媒介的核心入口

既然在场变成了元宇宙新一代媒介时代的核心要素。在场体验主要有四个层面的问题:

第一个是空间环境层。未来的元宇宙空间体验将会和现在的手机屏幕、PC屏幕有很大的不同。用户不再隔着文字和影像,通过文字编辑码的方式来进行,而是像现场一样,以面对面的方式进行,在场的一个前提条件就是它需要有一个可观、可感甚至可触的三维空间环境。

第二层是主体感知层。人们在媒介时代里面的感知,必须借助一个数字化身,所有的媒介的交互行为体验都围绕其进行展开。

第三层是价值感知层。它会产生符号互动,产生基于新的数字化三维、数字化符号的互动仪式链,彼此之间会在游戏中、工作中、三维虚拟社交中产生一种虚拟社会的认同感、归属感、荣耀感,甚至自我实现感,这构成了在场的主要核心要素。

根据现在已有的落地代表性的元宇宙媒介产品,已知的元宇宙产品的内容呈现、互动方式、用户体验,全部围绕着数字化本身展开。吕欣认为,数字虚拟人将会成为元宇宙媒介的一个核心出口。

人们在虚拟的媒介空间里面,通过数字化身的形式,会更多地把自己的情感精神体验投射、放置在虚拟空间里面。在虚拟世界中所扮演的角色和它在这个虚拟世界中的各种交互所形成的精神感知,最终会反过来影响现实中真人用户人格、认知甚至精神体系。比如很多孩子迷恋二次元游戏中的角色,是因为他在游戏中体验到的数字化身投射在他现实中的行为中,这种现象为普罗托斯效应。

数字人目前按照不同的逻辑来划分,主要有以下几种形式:

第一种为高仿真的数字人,即通过类似于帧的扫描,把一个真人的所有的物理细节,包括面部、肢体、身上、脸上的毫毛、小雀斑等精致地刻画出来,往往会应用在影视动画,包括虚拟仿真等领域。

第二种类型为CG模数字人,即通过数字建模的方法来呈现数字人,在游戏和动画中用得最多,三维动画往往采用这种方式来进行。

第三种为AI生成数字人,例如虚拟主播、虚拟客服,往往是通过AI的方法来进行。用户输入一张照片,或者借助手机或者其他设备,通过多角度的照片扫描之后,用AI的方法生成一个数字虚拟人。

第四种为视频数字人,即通过单照片或一段影像,通过神经网络的方式重建出一段影像。这种影像的逼真度最高,因为它就是一段真实的人的照片,或者一个人的影像。但吕欣认为它不是未来的方向,因为影像是平面的,无法放在三维空间里面,无法实现360度的景象。

按照驱动方式分,可以分成真人驱动型无人实时驱动型。真人驱动型指我们现在看到的虚拟偶像,背后都是通过真人映射的方式进行数字人表演。无人实时驱动型则完全是通过语音合成、口型驱动和AI光谱来实现一个自动的驱动,不再依靠演员。

三、从“数字人”到“数智人”

数字人正在从传统的数字傀儡发展到数字人的过程,之前提到的所有数字虚拟人,都有一个好看的皮囊。吕欣归结成数字傀儡,它不管是靠真人驱动表演,还是靠AI驱动,通过文字输入、tts语音来驱动它口型的方式,本质都是一个媒介表达工具而已。

要想让数字人拥有智慧,需要突破以下几个层面:

第一,模型层。在未来,大语言模型技术不断崛起,“给好看的皮囊注入有趣的灵魂”是吕欣实验室在未来几年之内重点研究和发展的研究领域。

要达到元宇宙媒介时代的体验,必须要在这个空间里面构建出海量的三维场景、三维物品和三维角色。随着AI技术的发展,以后的三维模型的数字资产制作会十分快捷,它会从以前程序化建模的方式变成ABC的方式。另外,驱动是成本高昂的。目前市面上已经有一种解决方案,完全通过两个普通摄像头,通过AI算法就可以完成数字人的驱动表演。

第二,驱动层。目前也是通过AI技术的发展,它会让数字人的驱动变得更加简单,效果更好。模型层和驱动层只是物理层面的,会让模型变得更加低成本和高效,驱动层也是如此。

第三,语义层。数字人以前只能按照人的旨意说话,以后能不能让其能够听懂人说话,还能进行反馈?这就要解决语义层的问题。

第四,最后一层是情感层,假如数字人能够进入到用户的世界,它会变成用户如影相随的数字伙伴。一方面它能够捕获到用户的情感,比如通过电子的眼神捕捉,它能够知道当下用户的情感状态,同时它接收到用户的情感状态之后,又能够做出适当的反馈,这称之为多模态表达,这时候情感层就发生了。在这种情况下,数字人会更加强烈地介入到当代人的生活之中。因此情感AI将是未来数字人领域中非常重要的研究领域。

人工智能在元宇宙媒介这些科技的催促之下,正在大幅度快速进化。同时,它也在各个层面不断地介入现实生活形态。未来到底会发生什么?到底是好事还是坏事?吕欣表示这个问题需要人们深入思考和研究。

热点聚焦