為什么在 Meta、微軟的元宇宙,我們連一雙腿都不能擁有?
當(dāng)你戴著 Oculus Quest 2 頭顯,進(jìn)入 Meta 的 VR 社交平臺 Horizon Worlds 時,你需要創(chuàng)建一個虛擬形象代表自己。
可是它看起來怎么也不像你,它沒有下半身,像霍格沃茨的幽靈一般漫游空中,最近飄蕩進(jìn)了超級碗的廣告里。
Horizon Worlds.
隔壁的微軟也是這樣,在其元宇宙入口 Mesh for Teams 之中,你的虛擬形象同樣失去雙腿。
Mesh for Teams.
然后你將一個問題脫口而出:為什么沒有腿?
01把腿加上,有那么難?
Andrew Bosworth 是 Meta 的 Reality Labs 副總裁,在領(lǐng)導(dǎo)公司的 XR 部門時,他養(yǎng)成了通過 Instagram 進(jìn)行即興問答的習(xí)慣。在 2 月 10 日的問答中,他承認(rèn)加腿是件難事。
Andrew Bosworth.
如果想在 VR 中以逼真的方式呈現(xiàn)雙腿,它首先需要知道腿在現(xiàn)實(shí)里的一舉一動,然后推斷腿在 VR 中應(yīng)該做什么。
癥結(jié)就在這里,雖然 Quest 2 能夠進(jìn)行頭部和手部跟蹤,并估計手臂和胸部的位置,但它不知道你的腿在哪里。
Quest 2 配備 4 顆廣角灰度攝像頭,頂部的兩顆朝向上面和側(cè)面,底部的兩顆略微向下。如果我們向前看,這些攝像頭通常可以看到手臂,如果我們坐著或向下看,攝像頭能夠看到身體的更多部分。
但它們的追蹤范圍始終有限。有時,腹部等「障礙物」可能會擋住攝像頭的視線;有時,當(dāng)我們傾斜或轉(zhuǎn)動頭部,那些向下的攝像頭也無法看到腿。
Meta 還想將頭顯的外形尺寸做得更小,攝像頭可能更難看到腿了。
在腿部放上額外的傳感器呢?理論上可行,但目前幾乎沒有針對腿部的商用傳感器和控制器。
HTC 銷售幾種主要面向企業(yè)用戶的 Vive VR 頭顯,還配備了綁在四肢或物體(如網(wǎng)球拍)上的追蹤器。不過,追蹤器只能與連接到電腦的頭顯兼容,并需要一個基站。
HTC VIVE.
說到基站,「無腿」的核心原因也就呼之欲出,即 Quest 2 的定位方式。VR 頭顯的定位技術(shù)可分為兩類,一種是 outside-in,一種是 inside-out。
Outside-in 需要事先放置定位點(diǎn)設(shè)備,定位點(diǎn)設(shè)備會發(fā)射出激光、紅外線、可見光等,覆蓋定位點(diǎn)設(shè)備之間的空間,并建立三維位置信息,通過三角定位的方法確定佩戴者的位置和移動方向。
圖片來自:VRPinea
Quest 2 則屬于 inside-out,它無需架設(shè)額外的定位裝置,在 VR 頭顯上安裝攝像頭,讓設(shè)備自己檢測外部環(huán)境的變化,再用 SLAM 算法計算出攝像頭的空間位置和移動方向。
圖片來自:VRPinea
簡單來說,inside-out 定位無需基站,拓展了使用空間,更適合日常娛樂和移動場景;outside-out 可提供更精準(zhǔn)、范圍更大的追蹤效果,全身動捕一般依靠 outside-in 的追蹤設(shè)置實(shí)現(xiàn)。
既然目前做不到全身追蹤,Meta 就將腰部以下「砍掉」了。
定位方式也關(guān)聯(lián)了使用習(xí)慣,以及公司的戰(zhàn)略方向——科技發(fā)展當(dāng)然越方便越好,消費(fèi)者不一定關(guān)心公司用了什么技術(shù)。起價 299 美元的 Quest 2 雖然精準(zhǔn)度和延遲相對落后,但對普通用戶來說足夠友好。
在 VR 中經(jīng)營社交,是許多 VR 制造商的目標(biāo)。
圖片來自:CNN
Meta 當(dāng)然希望進(jìn)一步將 VR 推向大眾消費(fèi)市場。更逼真的身體表現(xiàn),固然可能引起更多人對 VR 的興趣,也可能使用戶體驗(yàn)更加繁瑣、成本更高,至少短期內(nèi)是如此。
所謂「兩害取其輕」,更低的使用門檻對普及 VR 意義重大。
值得一提的是,Unity 增強(qiáng)和虛擬現(xiàn)實(shí)副總裁 Timoni West 提出了一種解決方法——先采集大量關(guān)于走路方式的數(shù)據(jù),再在 AI 的幫助下,根據(jù)頭顯檢測到的頭部運(yùn)動預(yù)測腿部運(yùn)動。
AI可能無法精準(zhǔn)預(yù)測到具體用戶的每一個動作,這會導(dǎo)致 AI 再現(xiàn)的動作不自然;「采集大量走路方式數(shù)據(jù)」這個前提也并不容易,當(dāng)在未來某個時候,每個人家里都有一臺全向跑步機(jī)捕捉腿部運(yùn)動時,制作人體運(yùn)動的數(shù)字模型可能就不再困難了。
圖片來自:0-tech
簡言之,如果不在身體或周圍設(shè)置一系列傳感器,就要求消費(fèi)級一體式 VR 設(shè)備實(shí)現(xiàn)完美的腿部追蹤,基本是不可能的,就像 HTC 美國公司總經(jīng)理 O'Brien 所說:
大家追求的是一直全身心的沉浸式體驗(yàn),能夠用一個一體式頭顯再現(xiàn)身體的每一個動作。但是,我們目前還做不到。
02你要跳舞嗎?
2019 年 9 月,Meta 宣布在 Oculus Quest 上使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行準(zhǔn)確的手部跟蹤。
戴著 Quest 2,我們可以揮動手部在菜單界面進(jìn)行一些簡單操作,也可以握著手柄在游戲里大殺四方。
在 Horizon Worlds,漂浮的「無腿怪」們可以閑逛、結(jié)識朋友、向僵尸開槍或創(chuàng)建自己的世界。
圖片來自:Meta
精確的手部追蹤為什么重要?因?yàn)樗鼘⒔怄i一系列新體驗(yàn)——用手勢在 VR 中暫停電影,在社交游戲中更自然地表達(dá)自己,與現(xiàn)實(shí)中一樣揮手打招呼、猜拳、握手、抓取、擊掌……
相比之下,如果你不需要跳舞等游戲用途的話,腿部跟蹤似乎沒有那么必要。就算不用腿部跟蹤,軟件也可以模擬行走、下蹲等動作,讓你看起來「全須全尾」。
為了讓步行在 VR 中更逼真,有研究人員推出腳部 VR 力回饋方案。舉例來說,行走時的體感包括視覺場景變化、腳底踩在地面上的反饋,以及四肢移動的體感。因此,在理論上,通過刺激和模擬這些體感和視覺效果,也能模擬逼真的行走體驗(yàn)。
如果僅僅是看不慣,裝個「假腿」足夠了。Andrew Bosworth 就是這么想的:
我們可以為虛擬形象偽造腿,讓人們看到彼此的完整形象,沒有人會知道其中的區(qū)別。
當(dāng)然,Andrew Bosworth 也承認(rèn),假腿沒法代替真腿的體驗(yàn)。假腿只是能在閑逛、聊天等簡單的 VR 社交體驗(yàn)里,讓你漂浮的虛擬形象看起來更加自然。
但沒有一雙靈活的腿,總覺得少了什么。在更沉浸和真實(shí)的 VR 體驗(yàn)里,我們總是需要腿的,這方面的代表便是 VR 社交平臺 VRChat。
VRChat.
VRChat 的一大特點(diǎn)是虛擬角色不受限制,二次元們熟知的 MMD 模型可以直接轉(zhuǎn)換成 VRChat 的角色,卡比獸、海綿寶寶、初音未來扎堆出現(xiàn)。不僅如此,越來越多的 VR 舞者通過綁在身上的運(yùn)動追蹤器,在這里進(jìn)行實(shí)時斗舞比賽。
為了在 VR 中完成全身舞蹈動作,韓國 VRChat 舞者 Makoto 用的追蹤器特別齊全:帶有無線附加組件的 HTC Vive 耳機(jī)、手腕上的 Index 控制器以及腰部和腳部的 Vive Tracker。
Makoto.
VR 愛好者們愿意為全身追蹤付出許多金錢和精力,意味著擁有「真腿」的門檻依然很高。
但更長遠(yuǎn)地看,社區(qū)就是圍繞這些活動形成的,就連國際舞蹈協(xié)會(IDA)也在 VRChat 舉辦了一系列錦標(biāo)賽式的舞蹈比賽,VR 真正遠(yuǎn)程連接了可能永遠(yuǎn)都不會見面的人們。
我們?nèi)匀黄诖?,隨著技術(shù)變得更好、更便宜,VR 能夠提供更多意料之外的體驗(yàn)。
在 VR 里擊劍. 圖片來自:roadtovr
或許從「為什么沒有腿」這個問題就可以看出,相比扎克伯格的元宇宙構(gòu)想,現(xiàn)在的 VR 技術(shù)還有些距離,Horizon Worlds 也并不是一個完全充實(shí)的元宇宙。
話又說回來,或許不是所有人都喜歡有腿,不是每個人都想要做一個映射他們?nèi)粘I畹奶摂M形象。
至少,在未來人人皆可觸及的 VR 世界,要讓「漂浮的無腿怪」成為一個選擇,而不是一種遺憾。
參考資料:
1.https://edition.cnn.com/2022/02/15/tech/vr-no-legs-explainer/index.html
2.https://thenextweb.com/news/metaverse-no-legs-meta-microsoft-analysis
3.https://www.roadtovr.com/meta-quest-2-full-body-tracking-fbt-not-viable-quest-2/
本文來自微信公眾號“愛范兒”(ID:ifanr),作者:張成晨,36氪經(jīng)授權(quán)發(fā)布。
標(biāo)簽: