蘋果公司一向以技術驅動創新,每年都會在其硬件發布時引入的技術性創新。17年,在其重磅產品iPhone X —— 第十代iPhone身上,我們看到了人臉識別解鎖:Face ID。
其實蘋果公司在2013年就收購了PrimeSense公司,之后一直致力于將PrimeSense的深度相機小型化。iPhone X中創新之處就是使用了前置深度相機。現在,深度相機的應用已經由智能終端解鎖,逐漸延伸至移動支付、活體檢測等場景,其背后的技術手段:3D結構光,也漸漸走入了公眾視野。
【結構光】:已知空間方向的投影光線的集合稱為結構光。3D顧名思義,在三維空間上投影。基于結構光的三維成像,實際上是三維參數的測量與重現,主要是區別于純粹的像雙目立體視覺之類的被動三維測量技術,需要投射結構光到被測物體上,通過結構光的變形(結構光:Structured Light,或者飛行時間 Time of Flight——ToF)來確定被測物的尺寸參數。3D結構光技術主要是通過近紅外激光器發射的具有一定結構特征的光線,投射到被拍攝物體上,再由專門的紅外攝像頭進行采集。由于這種具備一定結構的光線在被攝物體的不同深度區域,而導致采集后生成的圖像相對原始光線結構發生變化,然后通過運算單元將這種結構的變化換算成深度信息,我們便獲得了被拍攝物體的三維結構。
目前3D結構光方案主要應用在智能機型的解鎖上,利用3D結構光成像 比2D人臉解鎖更加安全, 技術門檻也自然更高。市場上能擁有自研3D結構光技術能力的企業并不多。
3D結構光的整個系統包含結構光投影設備、攝像機、圖像采集和處理系統。其過程就是投影設備發射光線到被測物體上,攝像機拍攝在被測物體上形成的三維光圖形,拍攝圖像經采集處理系統處理后獲得被測物體表面數據。在這個系統中,當相機和投影設備相對位置一定時,投射在被測物體上的光線畸變程度取決于物體表面的深度,所以在拍攝圖像中可以得到一張擁有深度的光線圖像。 3D結構光模式包含點、線、面的模式,是指投射的光線類型。一般來說,由多條垂直雙向的線組成的網絡結構常用,這種模式不需要掃描就可以實現三維的輪廓測量,而且速度快。
【投射圖案的編碼方式】
結構光法投射的圖案需要進行精心設計和編碼,結構光編碼的方式有很多種,一般分為如下幾大類:
1、直接編碼(direct coding)
根據圖像灰度或者顏色信息編碼,需要很寬的光譜范圍。
優勢:對所有點都進行了編碼,理論上可以達到較高的分辨率。
缺點:受環境噪音影響較大,測量精度較差。
時分復用編碼(time multiplexing coding)
顧名思義,該技術方案需要投影N個連續序列的不同編碼光,接收端根據接收到N個連續的序列圖像來每個識別每個編碼點。投射的編碼光有二進制碼(常用)、N進制碼、灰度+相移等方案。
該方案的優點:測量精度很高(高可達微米級);可得到較高分辨率深度圖(因為有大量的3D投影點);受物體本身顏色影響很小(采用二進制編碼)。
缺點:比較適合靜態場景,不適用于動態場景;計算量較大(因為識別一個編碼點需要計算連續N次投影)。
空分復用編碼(spatial multiplexing coding
根據周圍鄰域內的一個窗口內所有的點的分布來識別編碼。
該技術的優勢:適用于運動物體。
缺點:不連續的物體表面可能產生錯誤的窗口解碼(因為遮擋)。
【3D結構光的衍生應用】
· 3D人體測量
人體數據經由3D結構光模組掃描獲得,結果可以真實得反映被測者的體態,體格信息。據悉,3D結構光用于測量身高,臂長等信息所需時間在數秒左右,誤差可以控制在毫米級,可以被用于人體建模、體征識別等用途。
· 物體體積測量
3D結構光可以測量深度信息,對于物流行業,3D結構光可以用于快速識別物體的長、寬、高信息,由此物流公司可以更好的規化倉儲管理,合理利用存儲、運輸空間,從而提高空間利用率。
· 實物3D建模
深度相機可用于環境感知、3D掃描、SLAM、手勢識別等用途,在AR/VR領域增強虛擬現實的融合與互動;圖中設備可理解為觸屏一體機附加結構光模組,便于設計師快速獲取物體三維圖像和信息。
· 人臉3D建模
3D結構光可以對人體、面部進行實時建模,對于人臉識別布控場景可減少面部遮擋等因素對結果的影響,因此擁有廣泛的應用前景。
· 人臉識別支付
目前指紋支付功能已經非常成熟,人臉識別主要被應用于支付身份核實、登陸身份核實,作以補充。
【3D結構光方案綜述】
1、優點
· 由于結構光主動投射編碼光,因而非常適合在光照不足(甚至無光)、缺乏紋理的場景使用。
· 結構光投影圖案一般經過精心設計,所以在一定范圍內可以達到較高的測量精度。
· 技術成熟,深度圖像可以做到相對較高的分辨率。
2、缺點
· 室外環境基本不能使用。這是因為在室外容易受到強自然光影響,導致投射的編碼光被淹沒。增加投射光源的功率可以一定程度上緩解該問題,但是效果并不能讓人滿意。
· 測量距離較近。物體距離相機越遠,物體上的投影圖案越大,精度也越差(想象一下手電筒照射遠處的情景),相對應的測量精度也越差。所以基于結構光的深度相機測量精度隨著距離的增大而大幅降低。因而,往往在近距離場景中應用較多。
· 容易受到光滑平面反光的影響。
3D結構光方案模組傾向于小型化設計,對于芯片設計、生產工藝具有很高要求,因此目前擁有自主3D結構光技術并投入應用的公司并不多:華為、蘋果、奧比中光、intel (RealSense)、微軟 (kinect)。
現階段的主要用于智能機型上進行解鎖、身份核對,解鎖/識別準確度與速度均優于指紋識別。在虛擬交互方面,也已被用于體感游戲、手勢控制等用途。3D結構光在應用場景落地的技術條件已經具備,更多衍生的應用場景正在開發和嘗試當中。