VR 在遊戲和互動娛樂方面的前景已經很清晰瞭。對於很多人來說，那是讓他們這麼多年沒有放棄的原因。但是 VR 還有更多的潛力——成為一個像手機一樣改變世界的真正全新的計算平臺。
雖然這一願景已經持續瞭幾十年，並且在虛擬現實中占有突出的地位，真正讓 VR 廣泛應用、沖擊大眾市場的道路卻不那麼清晰。殺手級應用會是什麼樣的?什麼樣的使用場景能夠更早的成為主流?哪些會滯後一些?
本文將和大傢聊一聊各種消費級應用所需要的知識和能力。這張圖是整個分析的總覽，我們將在下面和大傢詳細講述。
技術基礎
VR 不是單一的技術，而是很多技術的集成。這些技術大多處於不同的發展成熟階段。不同的消費級應用對於這些領域的應用也不太一樣。所以任何對進入市場時機的分析必須以對技術的瞭解為基礎。
VR 作為一個通用的計算平臺有四個廣泛的技術領域。
1、意圖捕捉(Intent Capture)
意圖捕捉，是一種能夠在任何時刻可靠和流暢的理解用戶需求的能力，或者叫做輸入方式，例如在 VR 遊戲中的用戶行為捕捉。迄今為止，消費級 VR 在這方面相當缺失。最近 Valve Lighthouse 和 Oculus Touch 的進展將極大的改善這一處境。手勢輸入仍是用戶最自然的表達意圖的方式，下圖為 Oculus Touch。
除瞭手勢輸入，由於目前絕大多數 VR 設備都是頭戴式，捕捉用戶頭部的運動也可以方便地讓用戶直接操作眼前看到的虛擬世界。三維空間的右手笛卡爾坐標如下圖所示，pitch 是圍繞 X 軸旋轉，yaw 是圍繞 Y 軸旋轉，roll 是圍繞 Z 軸旋轉。在 VR 頭盔中，歪頭就是 roll，搖頭是 yaw，點頭是 pitch。
依賴重力感應和陀螺儀傳感器，我們可以捕捉到用戶頭部的運動中心點，並映射到虛擬空間中的坐標上，如下圖中綠點所示，從而實現某些用戶交互，如判斷是否激活當前空間內紅框區域所代表的興趣點。
2、人物捕捉(Persona Capture)
人物捕捉，包括感知、編碼、重現使用者的外觀、行為、情緒、非語言暗示等目前應用程序需要的信號。可以想象，未來商務人士不需要做空中飛人，就可以借助 VR 開啟各種虛擬會議，你可以觀察到與會者的一舉一動，甚至表情和情緒。但目前，這是技術領域最不成熟的一塊，尤其缺乏消費級的解決方案。
目前的方案大都需要借助一些輔助設備的幫忙，而捕捉到的人物精細度已經越來越高，可以應用在影視創作和遊戲開發中瞭。下圖是利用 kinect 實時捕捉臉部運動的例子。
不隻是面部表情，全身動作也可以借助光學設備捕捉到。原理是多臺相機從不同角度拍攝的圖像被采集到計算機之後，通過視覺算法過濾無用的信息，再計算出每個標記點的空間位置，進而根據已知的骨骼信息得到關節的旋轉角度。如下圖就是通過同一個標記點在兩臺相機畫面中的位置，解算出它的空間位置的簡單數學表達，以及捕捉到的動作實例。
3、環境捕捉
環境捕捉(Environment Capture)，指的是感知、編碼、重現真實世界的環境。環境捕捉可以分為相對簡單的 360°全景視頻和全景幾何捕捉——後者需要應用更加復雜的計算機視角技術。這些技術在飛快的向成熟發展，Jaunt VR、NextVR、GoPro、Matterport 這些公司都在進行緊鑼密鼓的研發，很快就會出現完整的商品。
通過全景攝像設備捕捉到的影像或幾何信息，經過攝像機標定、傳感器圖像畸變校正、圖像投影變換、匹配點選取、全景圖像拼接和融合，以及亮度與顏色的均衡處理等，就可以得到 VR 頭盔中看到的 360 度視頻影像瞭。
VR 頭盔的兩個鏡片可以看成兩個完全相同的放大鏡，如下圖光路剖面圖所示，人眼處於左側實線與光軸的焦點處，中間的為雙凸鏡片，右側為屏幕，由於鏡片有彎折光線的作用，人眼看到屏幕最上方 x 位置，而給人的感覺是沿著虛線從更高的位置進入人眼的，仿佛把屏幕放大到瞭 x’ 的那麼大。
VR 頭盔鏡片呈現出更大視野的同時，也帶來瞭畸變。畸變用通俗的話來說就是圖像扭曲變形，給人以中間凸出(桶形畸變)或是凹陷(負畸變)，這也屬於像差的一種，是由於人眼處於光學系統中的前後位置不同造成的。因此，在圖像呈現在使用者之前，先做一次桶形畸變，如下圖所示，用以抵消鏡片帶來的枕形畸變，從而使使用者感受不到由於鏡片畸變造成的不真實感。
不同 VR 頭盔的鏡片有不同的畸變系數，組成一個畸變補償方程，來適配不同畸變程度的鏡片，從而達到能夠通用不同鏡片的目的。
4、環境渲染
環境渲染(Environment Rendering)是很多人想起 VR 時想到的：以高質量渲染虛擬的世界，其中包括瞭所有相關的感知方式。Oculus 的演示表現瞭消費級產品的出色渲染能力，給用戶帶來身臨其境的沉浸感，這也標志的現代 VR 的來臨。
VR 頭盔強調的沉浸感，一方面取決於屏幕的大小，另一方面取決於鏡片彎折光線的能力，也就是可視角(FOV)的概念，這也是廣大 VR 廠商經常宣傳的一個參數。下圖是我們渲染的一個影院三維模型，以及在移動設備上呈現出的虛擬影廳效果。
當然，所有這些領域都包含瞭很多獨立的技術，任何對於一個 VR 應用近期潛力的真實評估都需要比這裡列出的更加詳細的細節。
設計元素
再好的技術，都需要友好的呈現給使用者。我們把這部分要講述的內容廣義的稱之為 “設計元素”。它包括瞭以下三個方面。
1、可用性(Usability)
包括瞭 UI/UX 的所有方面。用戶界面和用戶體驗，是消費級產品最重要的部分。如何才能簡單高效的將技術能力傳達給用戶，同時又能準確的捕捉用戶意圖，相信隨著意圖捕捉的技術能力越來越成熟，這部分會有更好的解決。
2、敘述(Narrative)
指的是我們講述故事、小說或其他什麼東西的能力。這些都充滿瞭信息，引人入勝，並且能引起人的共鳴。在我看來，未來的 VR 電影，觀影者不僅能感到身臨其境，還能獲得更有很強的參與感：觀影者可以隨時望向任何角度，從而獲得無數個可能的視角。從某種程度上來說，這種 VR 電影體驗更像是為觀影者提供一些素材，而觀影者根據自身的關註點來 “剪輯” 影片，通過不同的角度來自我理解和詮釋影片。
3、信息呈現
信息呈現(Information Presentation)
指的是我們在描繪想法、數據、圖表和其他抽象概念需要的專業知識，思維導圖，信息圖表，技術圖紙等等。
毫無疑問的是，所有的設計領域——可用性、敘述、信息呈現——在 VR 中都還處於起步階段。
應用程序
既然我們已經知道瞭技術和設計的必要元素，那麼再來看看應用程序吧。在圖表中用線的粗細表示瞭應用對於這些領域依賴的強弱。
有些應用擁有很高的技術門檻，如果這些技術基礎沒有改進，這些應用就無法真正進入市場。在這些領域，新企業如果想要起步，就需要進行這些基礎的研發。個人通信就是一個很好的例子：我們還沒有消費級的解決方案能夠處理實時人物捕捉問題。一旦這些技術被開發出來，這塊空間就將向大傢敞開。
其他領域則更多的受限於我們的設計知識——我們不知道什麼樣的體驗才是最好的。生產力工具就是最好的例子，很快 Oculus 和 Vive 都將把優秀的手勢識別輸入控制器推向市場，而剩下的主要技術障礙——意圖識別——也將不復存在。但是 VR 中的 Word、Excel、PowerPoint 和 Photoshop 將是什麼樣的?它們如何工作?我認為我們對於可用性和界面設計的不瞭解才是我們面臨的主要障礙。
那麼什麼樣的應用可以投向市場，或者可以很快的投向市場，什麼樣的還需要等待時機?
1、短期(9-18 個月)
遊戲：當然最強的依賴就是渲染瞭，這一塊已經相當成熟。對於其他技術的依賴較弱，並且使用一些早期的技術就可以工作。敘述手段在短期內可能會有一些問題，因為人們需要去學會怎樣建立和展開故事線。
直播：除瞭渲染，主要的依賴就是環境捕捉瞭——但是這一塊發展真的很快!直播依賴的其他部分內容不在本文討論的范疇內，例如內容運營，雲計算技術等等。
不動產：這類應用的門檻在於快速廉價準確的捕捉室內環境。Matterport(室內環境建模軟件)這類的軟件就是這樣。
>>新聞：高效的 VR 新聞需要將敘述技術和環境捕捉相結合——這兩個領域都需要更多的發展提高。不過使用現有的技術進行早期的嘗試也能夠成功，然後再慢慢的結合最新的技術成果。今年11月6日，《紐約時報》正式上架虛擬現實新聞客戶端 “NYT VR”，為讀者提供 “浸入式” 視頻，號稱 “看新聞視頻比 3D/IMAX 還帶感”。
2、中期(1.5-3年)
生產力工具：這類 APP 的存亡取決於它們激發、捕捉和響應我們的意圖的能力。精準高效的輸入解決方案即將投入使用，不過設計和開發人員還需要花一些時間才能弄清如何更好的利用這些輸入設備。雖然這類應用被列入中期，但是很多重要的作品都需要數年的時間才能完善並面世。
社區：和其他人交流感興趣的話題——這也是互聯網最初和最持久的應用。在 VR 中實現它需要很好的人物捕捉(主要障礙)以及出色的產品設計，不過這類應用在相對較短的時間內就可以使用瞭。
電影：故事敘述不受主要的技術壁障現實，並且全景相機正在迅速的發展。現階段最主要的難點就是創意——如何在這個媒介中講故事。Oculus 、Google 以及許多傳統工作室和制作公司已經在努力的探索這一領域瞭。
教育：這有點難分析，因為不同學科的需求不同。歷史和文學與影院和旅行有很多相似之處，而細胞生物學和技能訓練則更像遊戲。
旅行：這幾乎全靠環境捕捉——讓我們感覺我們真的在哪裡，這需要盡可能高的保真度和盡可能多的感官渠道。
3、更遠一些 (3-5年)
商務會談：需求很復雜，從高還原的人際關系，信息和思想的呈現，到可靠的產品設計。目前的會議解決方案例如 GoToMeeting 體驗非常糟糕，在個人和公司轉而使用這類技術前還有很多需要改進的地方。
個人通信：這類應用還很遙遠，它需要能捕捉細微動作的人物捕捉技術，包括所有人類使用的非語言交流方式。除非有重大的技術突破，否則不會出現令人滿意的解決方案來取代現有的通信方式。
擴展知覺：另一種很難分析的應用——通過數據展示以及感官輸入這樣全新的視角向我們展示現實和虛擬的世界。這需要等待設計準則的成熟以及最合適的數據流才能變得實用。
我們還缺少些什麼?
在這篇分析裡，主要講解瞭不同 VR 應用的技術和設計需求——這也是決定能否做出有競爭力的產品的主要因素。但是在 VR 成為一個新的計算平臺的過程中還有很多其他問題需要解決。其中一部分如下：
中間件，引擎，分佈式平臺，授權工具。這些都是一些幕後的模塊，它們對於將應用推向市場很重要。當然，它們中的很多都在短期內會產生機會。
市場規模，貨幣化，商業模型。所有這些應用都擁有廣闊的市場，有一些的市場特別大，而有一些則有明確的貨幣化的道路。基於不動產的商業和基於體育在線直播的商業是完全不同的。
消費者的廣泛接受以及頭戴設備的滲透。有一些應用需要廣大的消費者作為基礎。而有一些則隻需要早期的用戶就可以啟動。