Connect 2021大会上,小扎将Facebook改名为Meta,全力奔向元国际。而在许多人看来,这仅仅元国际的PPT。其实,Meta一向在展开Codec Avatars项目,现在已能创立出传神的虚拟人物,连头发丝都根根清楚。
扎克伯格也来应战「光剑变装」了。
你以为是这样的?NoNoNo!
小扎没有唐艺昕那样的炫酷,却是多了几分诙谐。
右手背后藏剑,左手亮剑:一瓶BBQ蘸汁。
这是小扎在「元国际」中虚拟化身(Avatar),这一亮剑视频让许多人纷繁转发。
自从Facebook更名为Meta,正式进军元国际之后,「元国际」这个词的热度就一向未减。
而与「元国际」一同被频频提及的,便是「化身」(Avatar)这个词。
「化身」,浅显意义上讲,便是人们在虚拟国际里的形象。
12月10号,「元国际」前锋Meta开放了自家的虚拟国际渠道Horizon Worlds。
当用户进入Horizon Worlds后,就需求创立一个3D虚拟化身。
有了化身,用户就能够在这个自定义的国际中痛快游玩。
不过,略显为难的是,这些avatar的表情都十分生硬。
所以,尽管现在的3D虚拟化身也牵强能用,但离着科幻电影,比如「头部玩家」里那种传神的化身形象,还有十万八千里。
而Codec Avatars项目便代表了Meta在虚拟化身范畴所做的尽力。
「元国际」不是PPT,Meta真在做
小扎改名Facebook的决计也不是闹着玩儿的。
若想在元国际中完成实在的交互,虚拟化身但是打开元国际这道门的任督二脉。
Codec Avatars这一项目旨在完成一个能够捕获和表明用于XR的传神头像的体系。
根据3D捕捉和AI技能,Codec Avatars能够让人们快速能够轻松地构建归于自己的虚拟化身,并使虚拟空间中的交互像在实际国际相同天然。
开端这个项目是以高质量的头像演示开端,后来逐步完成构建全身的虚拟化身。
除了简略地扫描一个人的身体之外,一个首要的应战是让它以实际的办法移动——更不用说让整个体系能够实时运转,以便化身能够在交互式环境中运用。
在Connect 2021大会上,研讨人员Yaser Sheikh展现了该团队最新的效果——全身视频编解码器(Full-body Codec Avatars)。
他表明现在Codec Avatars支撑更杂乱的眼部运动、面部表情、手部和身体姿态。
此外,Meta还展现了虚拟化身在对不同的光照条件和环境下完成头发和皮肤的实在烘托。
那么,衣服也能够在元国际中完成实在模仿。
扯一扯弹性不错,颤动一下也会有褶皱。
身体细节、衣服都能做到实际复原,还有高保真的虚拟空间。
Meta就制造了一个虚拟公寓,公寓中所有物品都是实际国际的映射。
这样用户在虚拟空间中移动物体或许交互都能与物理空间完成同步。
现在,这似乎是为公司构建一个映射的实在国际环境的「最佳事例」场景来进行试验。
进入元国际后,手动盯梢也相同重要。如果在物理国际中大甩手臂完成交互,不只累,并且也不雅观。
为此,Meta一向在研讨一种愈加奇妙天然的办法,即经过EMG腕带进行XR输入。
前段时间,Meta还推出了一款触觉发动手套,都是为了完成在元国际中的新交互所做的尽力。
怎么构建Codex Avatars?
Meta开端制造Codex Avatars的契机要追溯到7年前。
2014年,卡内基梅隆大学机器人研讨所旗下的一家3D捕捉试验室Panoptic Studio的负责人Yaser Sheikh遇到了Oculus首席科学家Michael Abrash,两人聊得十分投机。
Michael Abrash
2015年,Yaser Sheikh加入了Facebook(现Meta),从那以后便一向领导着Codex Avatars研讨团队。
Yaser Sheikh
「要想打造一个传神的化身,根底在于丈量」,Codex Avatars研讨科学家托马斯·西蒙说。
「化身要以假乱真靠的是准确的数据,这需求杰出的丈量。因而,构建实在化身的关键是找到一种办法来丈量人类表情中的物理细节,比如一个人眯起眼睛或皱起鼻子的办法。」
在匹兹堡试验室的Codec Avatars团队,运用了两个首要的模块来丈量人类的表情:编码器和解码器。
首要,编码器运用摄像头来捕捉受试者正在做什么,然后将捕获的信息组装成一个仅有的编码,用来表明一个人的身体和环境状况,这个编码能够随时发送到任何需求的当地。
然后,解码器再将该编码转换为视频信号。
一般的智能手机摄像头也能拍照生动的视频。不过,Codec Avatars但是海量物理数据和杂乱软件的结合,比幻想中要杂乱得多。
Codec Avatars项目在捕捉人脸细节时,运用了数百个高分辨率相机,而每个相机又会以每秒1 GB的速度捕获数据。
这是什么概念呢?
打个比如,这些相机三秒钟的记载的数据就足以装满一个512GB的磁盘。
而Codec Avatars团队继续记载大约15分钟,这现已抵达了他们现有硬件条件的极限,但尽可能多的数据也为创立最传神的虚拟头像打下了根底。
Codec Avatars团队正在运用这些数据来练习AI体系,然后让AI能够从视频中快速构建虚拟头像。
Sheikh说:「咱们现在现已能够复原发型夸大的人的3D头像,乃至复原戴着脑电收集帽的人的头像也不在话下。」
「这是国际上最先进的能够主动生成人类的实在数字肖像的办法之一。它供给了一种虚拟的面对面沟通的新办法,将来能够广泛推行。」
而跟着Codec Avatars的呈现,人们对「元国际」交际的承受度会不会越来越高呢?
参考资料:
roadtovr/meta-reality-labs-2021-research-and-development/
theverge/2021/10/28/22751177/facebook-meta-codec-avatar-real-time-environment-rendering-neural-interface tech.fb/codec-avatars-facebook-reality-labs/ diankeji/vr/47334.html
gizmodo/mark-zuckerberg-is-a-bbq-sauce-obsessed-killer-in-new-m-1848135459