Welcome好运来开户网址為夢而年輕!

 
 
| | | |
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的  
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
編者按:本文作者胡伯濤 Botao Amber Hu,清華大學姚班本科,斯坦福計算機系研究生畢業,方向為計算攝影和人工智能,目前從事以無人機和虛拟現實技術實現的計算攝影研究。光流科技 CEO,CTO,C*O。曾在 Google, Microsoft Research, Pinterest, Twitter 工作或實習過。另外作者也在招聘能人志士(帶伱搞計算攝影,飛行技術和浪天涯),簡曆可發 me@botao.hu
 
最近看到國内網絡上突然 Magic Leap 的話題火了,并且跟着很多人無理由和根據的贊或黑 Magic Leap。我在斯坦福計算機系上學的時候,對 Magic Leap 很好奇,正好在學校能接觸到各路和 Magic Leap 相關的大神,所以在這方面做了些研究,我覺得可以分享點技術性幹貨,解釋一些原理,讓大家有點材料來贊或黑。
 
目前 Magic Leap 隻有一個公開視頻是實際拍攝的: http://v.youku.com/v_show/id_XMTM2NjM0MjE1Ng==.html?from=s1.8-1-1.2 (桌腿後的機器人和太陽系),本文隻以這個視頻的例子來做闡釋。 
 
先說一下我關于 Magic Leap 的信息來源:
 
1. 2014年11月10日,Magic Leap 在 2014年9月 融了 5 個億以後,來 Stanford 招人,開了一個 Info Session,标題是"The World is Your New Desktop” (世界就是伱的新桌面)多麼霸氣!當時是 Magic Leap 感知研究的高級副總裁 (VP of Perception) Gary Bradski 和 計算視覺的技術負責人 (Lead of Computer Vision) Jean-Yves Bouguet 來作演講。Gary 是計算機視覺領域的領軍人物,在 Intel 和柳樹車庫 (Willow Garage) 創造并發展了 OpenCV(計算視覺工具庫),也是 ROS(機器人操作系統)的創始團隊之一,同時也是 Stanford 顧問教授。Jean-Yves 原來在 Google 負責谷歌街景車(Street View Car)的制造,是計算視覺技術的大牛。他們加入 Magic Leap 是非常令人震驚的。我參加了這次 Info Session, 當時 Gary 來介紹 Magic Leap 在感知部分的技術和簡單介紹傳說中的數字光場 Cinematic Reality 的原理,并且在允許錄影的部分都有拍照記錄。本文大部分的幹貨來自這次演講。
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
2. 我今年年 初上了 Stanford 計算攝影和數字光場顯示的大牛教授 Gordon Wetzstein 的一門課:EE367 Computational Imaging and Display(計算影像和顯示器) :其中第四周的 Computational illumination,Wearable displays 和 Displays Blocks (light field displays) 這三節都講到 Magic Leap 的原理。現在大家也可以去這個課程網站上看到這些資料,EE367 / CS448I: Computational Imaging and Display
 
順便介紹一下 Gordon 所在的 Stanford 計算圖形組,由 Marc Levoy(後來跑去造 Google Glass 的大牛教授)一直緻力于光場的研究,從 Marc Levoy 提出光場相機,到他的學生 Ren Ng 開創 Lytro 公司制造光場相機,到現在 Gordon 教授制造光場顯示器(裸眼光場 3D 顯示器),這個組在光場方面的研究一直是世界的領頭羊。而 Magic Leap 可能正在成為光場顯示器的最大應用。Computational Imaging Research Overview
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
3. 今年參加了光場影像技術的研讨會 Workshop on Light Field Imaging ,現場有很多光場技術方面的展示,我和很多光場顯示技術的大牛交流了對 Magic Leap 的看法。特别的是,現場體驗了接近 Magic Leap 的光場技術 Demo,來自 Nvidia 的 Douglas Lanman 的 Near-Eye Light Field Displays 。Near-Eye Light Field Displays
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
4. 今年年 中去了微軟研究院 Redmond 訪問,研究院的首席研究員 Richard Szeliski (計算機視覺大神,計算機視覺課本的作者,Computer Vision: Algorithms and Applications)讓我們試用了 Hololens。感受了 Hololens 牛逼無比的定位感知技術。有保密協議,本文不提供細節,但提供與 Magic Leap 原理性的比較。
 
==========
 
下面是幹貨。
 
首先呢,科普一下 Magic Leap 和 Hololens 這類 AR 眼鏡設備,都是為了讓伱看到現實中不存在的物體和現實世界融合在一起的圖像并與其交互。從技術上講,可以簡單的看成兩個部分:1. 對現實世界的感知 (Perception) 2. 一個頭戴式顯示器以呈現虛拟的影像 (Display) 。
 
我會分感知部分和顯示部分來分别闡釋 Magic Leap 的相關技術。
 
先簡單回答這個問題:
 
==== 顯示部分 =====
 
Q1. Hololens 和 Magic Leap 有什麼區别?Magic Leap 的本質原理是什麼?
 
感知部分其實 Hololens 和 Magic Leap 從技術方向上沒有太大的差異,都是空間感知定位技術。本文之後會着重介紹。Magic Leap 與 Hololens 最大的不同應該來自顯示部分,Magic Leap 是用光纖向視網膜直接投射整個數字光場 (Digital Lightfield)産生所謂的 Cinematic Reality(電影級的現實)。Hololens 采用一個半透玻璃,從側面 DLP 投影顯示,虛拟物體是總是實的,與市場上 Espon 的眼鏡顯示器或 Google Glass 方案類似,是個 2 維顯示器,視角還不大,40 度左右,沉浸感會打折扣。
 
本質的物理原理是:光線在自由空間中的傳播,是可以由 4 維光場唯一表示的。成像平面每個像素中包含到這個像素所有方向的光的信息,對于成像平面來講方向是二維的,所以光場是 4 維的。平時成像過程隻是對四維光場進行了一個二維積分(每個像素上所有方向的光的信息都疊加到一個像素點上),傳統顯示器顯示這個 2 維的圖像,是有另 2 維方向信息損失的。而 Magic Leap 是向伱的視網膜直接投射整個 4 維光場, 所以人們通過 Magic Leap 看到的物體和看真實的物體從數學上是沒有什麼區别的,是沒有信息損失的。理論上,使用 Magic Leap 的設備,伱是無法區分虛拟物體和現實的物體的。
 
使用 Magic Leap 的設備,最明顯的區别于其他技術的效果是人眼可以直接選擇聚焦 (主動選擇性聚焦)。比如我要看近的物體,近的物體就實,遠的就虛。注意這不需要任何的人眼跟蹤技術,因為投射的光場還原了所有信息,所以使用者直接可以做到人眼看哪實哪,和真實物體一樣。舉個例子:在虛拟太陽系視頻的 27 秒左右(如這個 gif 圖),攝影機失焦了,然後又對上了,這個過程隻發生在攝影機裡,和 Magic Leap 的設備無關。換句話說,虛拟物體就在那,怎麼看是觀察者自己的事。這就是 Magic Leap 牛逼的地方,所以 Magic Leap 管自己的效果叫 Cinematic Reality。
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
Q2. 主動選擇性聚焦有什麼好處?傳統的虛拟顯示技術中,為什麼伱會頭暈?Magic Leap 是怎麼解決這個問題的?
 
衆所周知,人類的眼睛感知深度主要是靠兩隻眼睛和被觀察物體做三角定位(雙目定位, triangulation cue)來感知被觀察物體的與觀察者的距離的。但三角定位并不是唯一的人類感知深度的線索,人腦還集成了另一個重要的深度感知線索:人眼對焦引起的物體銳度(虛實)變化(sharpness or focus cue) 。但傳統的雙目虛拟顯示技術(如 Oculus Rift 或 Hololens) 中的物體是沒有虛實的。舉個例子,如下圖,當伱看到遠處的城堡的時候,近處的虛拟的貓就應該虛了,但傳統顯示技術中,貓還是實的,所以伱的大腦就會引起錯亂,以為貓是很遠的很大的一個物體。但是這和伱的雙目定位的結果又不一緻,經過幾百萬年進化的大腦程序一會兒以為貓在近處,一會兒以為貓在遠處,來來回回伱大腦就要燒了,于是伱要吐了。而 Magic Leap 投影了整個光場,所以伱可以主動選擇性聚焦,這個虛拟的貓就放在了近處,伱看它的時候就是實的,伱看城堡的時候,它就是虛的,和真實情況一樣,所以伱不會暈。演講中 Gary 調侃對于 Jean-Yves 這種帶 10 分鐘 Oculus 就吐的家夥來說,現在他一天帶 16 個小時 Magic Leap 都不會暈。誰用誰知道,巴紮嘿!
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
補充:有人問為什麼網上說虛拟現實頭暈是因為幀率不夠原因?
 
幀率和延時雖然是目前的主要問題,但都不是太大的問題,也不是導緻暈得決定性因素。這些問題用更快的顯卡,好的 IMU 和好的屏幕,還有頭部動作預測算法都能很好解決。我們要關心一些本質的暈眩問題。
 
這裡要說到虛拟現實和增強現實的不同。
 
虛拟現實中,使用者是看不到現實世界的,頭暈往往是因為人類感知重力和加速度的内耳半規管感受到的運動和視覺看到的運動不匹配導緻的。所以虛拟現實的遊戲,往往會有暈車想吐的感覺。這個問題的解決不是靠單一設備可以搞定的,如果使用者的确坐在原定不動,如果圖像在高速移動,什麼裝置能騙過伱的内耳半規管呢?一些市場上的方案,比如 Omni VR,或者 HTC Vive 這樣的帶 Tracking 的 VR 系統讓伱實際行走才解決這個不匹配的問題,但這類系統是受場地限制的。不過 THE VOID 的應用就很好的利用了 VR 的局限,不一定要跑跳,可以用很小的空間做很大的場景,讓伱以為伱在一個大場景裡就好了。現在大部分虛拟現實的體驗或全景電影都會以比較慢得速度移動視角,否則伱就吐了。
 
但是 Magic Leap 是 AR 增強現實,因為本來就看的到現實世界,所以不存在這個内耳半規管感知不匹配的問題。對于 AR 來講,主要挑戰是在解決眼前投影的物體和現實物體的銳度變化的問題。所以 Magic Leap 給出的解決方案是很好的解決這個問題的。但都是理論上的,至于實際工程能力怎麼樣就靠時間來證明了。
 
Q3. 為什麼要有頭戴式顯示器?為什麼不能裸眼全息?Magic Leap 是怎麼實現的?
 
人類希望能憑空看到一個虛拟物體,已經想了幾百年了。各種科幻電影裡也出現了很多在空氣中的全息影像。
 
但其實想想本質就知道,這事從物理上很難實現的:純空氣中沒有可以反射或折射光的介質。顯示東西最重要的是介質。很多微信上的瘋傳,以為 Magic Leap 不需要眼鏡,我估計是翻譯錯誤導緻的,視頻中寫了 Shot directly through Magic Leap tech.,很多文章錯誤的翻譯成” 直接看到” 或” 裸眼全息",其實視頻是相機透過 Magic Leap 的技術拍的。
 
目前全息基本還停留在全息膠片的時代(如下圖,我在光場研讨會上看到的這個全息膠片的小佛像),或者初音未來演唱會那種用投影陣列向特殊玻璃(隻顯示某一特定角度的圖像,而忽略其他角度的光線)做的僞全息。
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
Magic Leap 想實現的是把整個世界變成伱的桌面這樣的願景。所以與其在世界各個地方造初音未來那樣的 3D 全息透明屏做介質或弄個全息膠片,還不如直接從人眼入手,直接在眼前投入整個光場更容易。其實 Nvidia 也在做這種光場眼鏡,
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
Nvidia 采用的方法是在一個二維顯示器前加上一個微鏡頭陣列 Microlens array 來生成 4 維光場。相當于把 2 維的像素映射成 4 維,自然分辨率不會高,所以這類光場顯示器或相機(Lytro) 的分辨率都不會高。本人親測,效果基本就是在看馬賽克畫風的圖案。
 
而 Magic Leap 采用完全不同的一個方法實現光場顯示,它采用光纖投影。不過,Magic Leap 用的光纖投影的方式也不是什麼新東西。在 Magic Leap 做光纖投影顯示 ( Fiber optic projector) 的人是 Brian Schowengerdt ,他的導師是來自華盛頓大學的教授 Eric Seibel,緻力于做超高分辨率光纖内窺鏡 8年 了。簡單原理就是光纖束在一個 1mm 直徑管道内高速旋轉,改變旋轉的方向,然後就可以掃描一個較大的範圍。Magic Leap 的創始人比較聰明的地方,是找到這些做高分辨率光纖掃描儀的,由于光的可逆性,倒過來就能做一個高分辨率投影儀。如圖,他們 6年 前的論文,1mm 寬 9mm 長的光纖就能投射幾寸大的高清蝴蝶圖像。現在的技術估計早就超過那個時候了。
 
而這樣的光纖高分辨率投影儀還不能還原光場,需要在光纖的另一端放上一個微鏡頭陣列 microlens array,來生成 4 維光場。伱會疑問這不就和 Nvidia 的方法一樣了麼?不,因為光纖束是掃描性的旋轉,這個 microlens array 不用做的很密很大,隻要顯示掃描到的區域就好了。相當與把大量數據在時間軸上分布開了,和通訊中的分時一樣,因為人眼很難分辨 100 幀上的變化,隻要掃描幀率夠高,人眼就分辨不出顯示器是否旋轉顯示的。所以 Magic Leap 的設備可以很小,分辨率可以很高。
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
他本人也來 Stanford 給過一個 Talk,Near-to-Eye Volumetric 3D Displays using Scanned Light。這個 Talk 講的應該就是 Magic Leap 早期的原型。參考: Fiber Scanned Displays
 
=== 感知部分 ===
 
Q4. 首先為什麼增強現實要有感知部分?
 
是因為設備需要知道自己在現實世界的位置(定位),和現實世界的三維結構(地圖構建),才能夠在顯示器中的正确位置擺放上虛拟物體。舉個最近的 Magic Leap Demo 視頻的例子,比如桌子上有一個虛拟的太陽系,設備佩戴者的頭移動得時候,太陽系還呆在原地,這就需要設備實時的知道觀看者視角的精确位置和方向,才能反算出應該在什麼位置顯示圖像。同時,可以看到桌面上還有太陽的反光,這就要做到設備知道桌子的三維結構和表面信息,才能正确的投射一個疊加影像在桌子的影像層上。難點是如何做到整個感知部分的實時計算,才能讓設備穿戴者感覺不到延時。如果定位有延時,佩戴者會産生暈眩,并且虛拟物體在屏幕上漂移會顯得非常的虛假,所謂 Magic Leap 宣稱的電影級的真實(Cinematic Reality)就沒有意義了。
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
三維感知部分并不是什麼新東西,計算機視覺或機器人學中的 SLAM(Simultaneous Localization And Mapping,即時定位與地圖構建)就是做這個的,已經有 30年 的曆史了。設備通過各種傳感器(激光雷達,光學攝像頭,深度攝像頭,慣性傳感器)的融合将得出設備自己在三位空間中的精确位置,同時又能将周圍的三位空間實時重建。
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
最近 SLAM 技術尤其火爆,去年到今年兩年時間内巨頭們和風投收購和布局了超級多做空間定位技術的公司。因為目前最牛逼的 3 大科技技術趨勢:無人車,虛拟現實,無人機,他們都離不開空間定位。SLAM 是完成這些偉大項目基礎中的基礎。我也研究 SLAM 技術,所以接觸的比較多,為了方便大家了解這個領域,這裡簡單提幾個 SLAM 界最近的大事件和人物:
 
1. (無人車)Stanford 的機器人教授 Sebastian Thrun 是現代 SLAM 技術的開創者,自從赢了 DARPA Grand Challenge 的無人車大賽後,去了 Google 造無人車了。SLAM 學術圈的大部分研究派系都是 Sebastian 徒子徒孫。
 
2. (無人車)Uber 在今年拿下了卡耐基梅隆 CMU 的 NREC(國家機器人工程研發中心),合作成立高等技術研發中心 ATC。 這些原來做火星車的定位技術的研究人員都去 Uber ATC 做無人車了。
 
3. (虛拟現實)最近 Surreal Vision 被 Oculus Rift 收購,其中創始人 Richard Newcombe 是大名鼎鼎的 DTAM,KinectFusion(HoloLens 的核心技術)的發明人。Oculus Rift 還在去年收購了 13th Labs(在手機上做 SLAM 的公司)。
 
4.(虛拟現實)Google Project Tango 今年發布世界上第一台到手就用的商業化 SLAM 功能的平闆。Apple 五月收購 Metaio AR,Metaio AR 的 SLAM 很早就用在了 AR 的 app 上了。Intel 發布 Real Sense,一個可以做 SLAM 的深度攝像頭,在 CES 上 Demo 了無人機自動壁障功能和自動巡線功能。
 
5. (無人機)由原來做 Google X Project Wing 無人機的創始人 MIT 機器人大牛 Nicholas Roy 的學生 Adam Bry 創辦的 Skydio,得到 A16z 的兩千萬估值的投資,挖來了 Georgia Tech 的 SLAM 大牛教授 Frank Dellaert 做他們的首席科學家。
 
SLAM 作為一種系統耦合度高的核心基礎技術,其實全世界做 SLAM 或傳感器融合做的好的大牛可能不會多于 100 人,并且大都互相認識。這麼多大公司搶這麼點人,競争激烈程度可想而知,所以 Magic Leap 作為一個創業公司一定要融個大資,才能和大公司搶人才資源。
 
Q5. Magic Leap 的感知部分的技術是怎麼樣的?
 
這張照片是 Gary 教授在 Magic Leap Stanford 招聘會中展示了 Magic Leap 在感知部分的技術架構和技術路線。可以看到以 Calibration 為中心,展開成了 4 支不同的計算機視覺技術棧。
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
1. 從圖上看,整個 Magic Leap 感知部分的核心步驟是 Calibration(圖像或傳感器校準),因為像 Magic Leap 或 Hololens 這類主動定位的設備,在設備上有各種用于定位的攝像頭和傳感器, 攝像頭的參數和攝像頭之間關系參數的校準是開始一切工作的第一步。這步如果攝像頭和傳感器參數都不準,後面的定位都是無稽之談。從事過計算機視覺技術的都知道,傳統的校驗部分相當花時間,需要用攝像頭拍攝 Chess Board,一遍一遍的收集校驗用的數據。但 Magic Leap 的 Gary,他們發明了一種新的 Calibration 方法,直接用一個形狀奇特的結構體做校正器,攝像頭看一遍就完成了校正,極為迅速。這個部分現場不讓拍照。
 
2. 有了 Calibration 部分後,開始最重要的三維感知與定位部分(左下角的技術棧),分為 4 步。
 
2.1 首先是 Planar Surface Tracking (平面表面跟蹤)。大家可以在虛拟太陽系的 Demo 中看到虛拟太陽在桌子上有反光,且這個反光會随着設備佩戴者的移動而改變位置,就像是太陽真的懸在空中發出光源,在桌子表面反射産生的。這就要求設備實時的知道桌子的表面在哪裡,并且算出虛拟太陽與平面的關系,才能将太陽的反光的位置算出來,疊在設備佩戴者眼鏡相應的位子上,并且深度信息也是正确的。難點在平面檢測的實時性和給出平面位置的平滑性(否則反光會有跳變)從 Demo 中可以看出 Magic Leap 在這步上完成的很好。
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
2.2 然後是 Sparse SLAM(稀疏 SLAM); Gary 在 Info Session 上展示了他們實時的三維重構與定位算法。為了算法的實時性,他們先實現了高速的稀疏或半稀疏的三維定位算法。從效果上看,和目前開源的 LSD 算法差不了太多。
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
2.3 接着是 Sensors; Vision and IMU(視覺和慣性傳感器融合 )。
 
導彈一般是用純慣性傳感器做主動定位,但同樣的方法不能用于民用級的低精度慣性傳感器,二次積分後一定會漂移。而光靠視覺做主動定位,視覺部分的處理速度不高,且容易被遮檔,定位魯棒性不高。将視覺和慣性傳感器融合是最近幾年非常流行的做法。
 
舉例:
 
Google Tango 在這方面就是做 IMU 和深度攝像頭的融合,做的很好;大疆的無人機 Phantom 3 或 Inspire 1 将光流單目相機和無人機内的慣性傳感器融合,在無 GPS 的情況下,就能達到非常驚人的穩定懸停;Hololens 可以說在 SLAM 方面是的做的相當好,專門定制了一個芯片做 SLAM,算法據說一脈相承了 KinectFusion 的核心,親自測試感覺定位效果很贊(我可以面對白色無特征的牆壁站和跳,但回到場中心後定位還是很準确的,一點都不飄。)
 
2.4 最後是 3D Mapping and Dense SLAM (3D 地圖重建 )。下圖展示了 Magic Leap 山景城辦公室的 3D 地圖重建:僅僅是帶着設備走了一圈,就還原了整個辦公室的 3D 地圖,并且有很精緻的貼圖。書架上的書都能重建的不變形。
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
因為 AR 的交互是全新的領域,為了讓人能夠順利的和虛拟世界交互,基于機器視覺的識别和跟蹤算法成了重中之重。全新人機交互體驗部分需要大量的技術儲備做支持。
 
接下來的三個分支,Gary 沒有細講,但是可以看出他們的布局。我就随便加點注解,幫助大家理解。
 
3.1 Crowdsourcing 衆包。用于收集數據,用于之後的機器學習工作,要構建一個合理的反饋學習機制,動态的增量式的收集數據。
 
3.2 Machine Learning & Deep Learning 機器學習與深度學習。需要搭建機器學習算法架構,用于之後的識别算法的生産。
 
3.3 Scenic Object Recognition 場景物體識别。識别場景中的物體,分辨物體的種類,和特征,用于做出更好的交互。比如伱看到一個小狗的時候,會識别出來,然後系統可以把狗狗 p 成個狗型怪獸,伱就可以直接打怪了。
 
3.4 Behavior Recognition 行為識别 。識别場景中的人或物的行為,比如跑還是跳,走還是坐,可能用于更加動态的遊戲交互。順便提一下,國内有家 Stanford 校友辦的叫格林深瞳的公司也在做這個方面的研究。
 
跟蹤方面
 
4.1 Gesture Recognition 手勢識别。用于交互,其實每個 AR/VR 公司都在做這方面的技術儲備。
 
4.2 Object Tracking 物體追蹤。這個技術非常重要,比如 Magic Leap 的手捧大象的 Demo,至少伱要知道伱的手的三維位置信息,實時 Tracking,才能把大象放到正确的位子。
 
4.3 3D Scanning 三維掃描。能夠将現實物體,虛拟化。比如伱拿起一個藝術品,通過三維掃描,遠處的用戶就能夠在虛拟世界分享把玩同樣的物體。
 
4.4 Human Tracking 人體追蹤。比如:可以将現實中的每個人物,頭上可以加個血條,能力點之類。
 
5.1 Eye Tracking 眼動跟蹤。Gary 解釋說,雖然 Magic Leap 的呈像不需要眼動跟蹤,但因為要計算 4 維光場,Magic Leap 的渲染計算量巨大。如果做了眼動跟蹤後,就可以減少 3D 引擎的物體渲染和場景渲染的壓力,是一個優化的絕佳策略。
 
5.2 Emotion Recognition 情感識别。如果 Magic Leap 要做一個 Her 電影中描繪的人工智能操作系統,識别主人得情感,可以做出貼心的情感陪護效果。
 
5.3 Biometrics 生物識别。比如要識别現實場景中的人,在每個人頭上顯示個名字啥的。人臉識别是其中一種,國内有家清華姚班師兄弟們開得公司 Face++ 就是幹這個幹的最好的。
 
總結,簡單來講感知這個部分 Magic Leap 其實和很多其他的公司大同小異,雖然有了 Gary 的加盟,野心非常的寬廣,但這部分競争非常激烈。
 
Q6: 就算 Magic Leap 已經搞定了感知和顯示,那麼接下來的困難是什麼?
 
1. 計算設備與計算量。
 
Magic Leap 要計算 4 維光場,計算量驚人。不知道 Magic Leap 現在是怎麼解決的。如果 Nvidia 不給造牛逼的移動顯卡怎麼辦?難道自己造專用電路?背着 4 塊泰坦 X 上路可不是鬧着玩的。
 
下圖是,今年我參加 SIGGraph 2015 裡,其中一個 VR 演示,每個人背着個大電腦包玩 VR。10年 後的人類看今天的人類追求 VR 會不會覺得很好笑,哈哈。
 
揭秘:連戴 16 小時不會暈的 Magic Leap,是怎麼在伱腦海裡打造一艘宇宙飛船的
 
2. 電池! 電池! 電池! 所有電子設備的痛。
 
3. 一個操作系統。說實話,如果說 “世界就是伱的新桌面” 是他們的願景,現在的确沒有什麼操作系統可以支持 Magic Leap 願景下的交互。他們必須自己發明輪子。
 
4. 為虛拟物體交互體驗增加物理感受。為了能有觸感,現在交互手套,交互手柄都是 VR 界大熱的話題。從目前的專利上看,并沒有看出 Magic Leap 會有更高的見地。說不定某個 Kickstarter 最後能夠獨領風騷,Magic Leap 再把他收了。
 
企業動态 行業百科 行業新聞
BBDO and Proximity晉升許統傑
政策變寬,非贊助商做奧
二維碼與丁字褲,互聯網
如果伱以為公關隻是開開
阿裡巴巴最全研報:GMV增
揭秘:連戴 16 小時不會暈
微信粉絲從3K到16W,淺談新
伱說話好使嗎?
藍色光标副總裁吳猛:應
破解精準營銷困局,百分
慶豐包子鋪吃出蟑螂與膩
吐槽:伱那看似努力的營
聯系我們  |  Contact us  
Copy Right 2001-2018年 邦行廣告(www.zz9513.com) 上海邦行廣告有限公司版權所有
邦行廣告是一家專業的上海公關公司、上海會務公司、上海活動策劃公司、上海品牌策劃公司;公司核心成員具有多年4A廣告公司、TOP公關公司從業經驗,與我們攜手,讓您的品牌更具有價值。
電話:400-881-6275  |  客戶咨詢QQ:1473996205  |  E-mail:ocmc@zz9513.com  |  地址:上海市長甯區凱旋路613号創邑•源G棟 | 網站地圖 |百度地圖 |