一.概述
結構光(Structuredlight),通常采用特定波長的不可見的激光作為光源,它發射出來的光帶有編碼信息,投射在物體上,通過一定算法來計算返回的編碼圖案的畸變來得到物體的位置和深度信息,鏡頭需要定制鏡頭或者特殊鏡頭設計。
光飛行時間法(TOF),利用測量光飛行時間來取得距離,簡單來說就是,發出一道經過處理的光,碰到物體以后會反射回來,捕捉來回的時間,因為已知光速和調制光的波長,所以能快速準確計算出到物體的距離。
TOF技術主要是為了實現3D成像而生,X,Y兩維的手機拍照大家都非常熟悉了,TOF在其基礎上增加了Z軸的深度信息。實現3D的其他方案還包括,散斑結構光、編碼結構光、雙目視覺以及雙目結構光等,iPhoneX使用的就是散斑結構光方案,而 iPhoneXs同樣采用了結構光方案。
相對結構光方案,TOF的3D方案實現起來更為簡單,主要包括投射器和接收模組,通過控制投射器發出經調制的近紅外光波,遇物體后反射,接收模組計算發射光波和接收光波的時間差或相位差,換算成被拍攝景物的距離,以獲取深度信息。
二.ToF方案的幾個優點
優點一,工作距離遠,可以獲得5m內的有效&實時深度信息。
優點二,適用場景廣,無論被攝物體有無特征點,無論環境光較強(如:日光)或較弱,都可獲得有效的景深信息。
優點三,較遠距離精度高,ToF在手機與被攝物體的絕對精度,即被攝物體之間的相對精度,都可以達到厘米級的水平。
三.ToF方案的幾個缺點
缺點一:當前手機端可用的主流ToF傳感器分辨率相對較低(180*240,240*320,240*480等),因此在近距離的精度和X/Y分辨率也會相對較低,大家感興趣可以自行了解前置結構光的精度。
缺點二:元件在工作時的功耗與發熱量也相對較大,長時間工作需要很好的散熱條件,在消費類電子設備上使用還需要不斷優化。
缺點三:目前基于ToF方案的解決方案還未完全成熟,相應的內容生產和開發群體較為薄弱,支持的應用場景較少。
四.TOF技術的改進
TOF技術由來已久,并不是近期火起來的新產品,今年應用于智能手機端算是個突破,這也要歸功于近幾年TOF技術的不斷進步。
TOF這個3D模塊中最核心的器件在于TOF芯片,它集眾多功能于一身,包括驅動投射器,接收反射光線,進而生成raw圖,再送給軟件處理成深度信息。
前些年的TOF芯片多是CCD類型的,功耗和發熱在實際使用中是一個大問題,這也是TOF由來已久卻遲遲沒有應用于手機端的原因之一。芯片廠商致力于技術的創新改良,使TOF芯片從CCD轉向CMOS,在功耗方面實現了很大的突破,使TOF應用于便攜手機成為可能。而且CMOS芯片以其復雜的邏輯結構,可以實現將高速率多幀圖像合成單張圖像用以計算最終的深度,降低圖像噪聲以提高深度的精度。
方案上,3D結構光投射的是散斑或編碼圖案,接收模組需要拍攝到清晰的圖案才能計算出深度。而隨著距離的增加,投出的圖案或出現模糊,或出現亮度能量上的衰減,導致深度圖不完整,出現破洞,甚至于失效,所以3D結構光并不適用于遠距離深度信息采集。
TOF技術發射的不是散斑或編碼圖案,而是面光源,在一定距離內光信息不會出現大量的衰減,配合TOF芯片背照式的、大pixel size的設計,大幅提升了光線收集率和測距速度,使遠距離應用成為可能。這也是TOF可以被用作手機后攝,而結構光無法用作后攝的原因之一。
五.TOF vs 3D結構光
外形尺寸應用
iPhoneX/Xs特色的長留海一度被網友吐槽,其實這是3D結構光結構上的局限造成的。熟悉結構光的朋友都清楚,結構光的精度和Baseline(投射器和接收模組的距離)關系非常大,Baseline間隔越長,精度就越高。常用的Baseline至少需要保證20mm以上,iPhoneX更是選擇了27mm的Baseline,所以長留海也是不得已而為之的設計。
觀TOF就沒有Baseline的要求,投射器和接收模組可以緊挨在一起,尺寸上會更加緊湊。
在器件組成上,TOF投射器組成更簡單,供貨也會更容易保障。
TOF投射器主要包括VCSEL+Diffuser。TOF的VCSEL并不像結構光那樣對編碼圖案有一定要求,只是最常規的規則排列,器件制作上更為簡單,可供選擇的VCSEL供應商也會更多。結構光的VCSEL需要制作成特定的圖案,對圖案表現的一致性、器件高溫漂移情況、發熱表現、耐環境高溫等都會有更高的要求,總體來說,對VCSEL供應商的工藝及設計能力以及產品良率上考驗更大。TOF的Diffuser的設計制作難度,相對于結構光投射器中的DOE不可同日而語,能穩定供應DOE的廠商全球范圍內屈指可數,而Diffuser的生產則表現得更加容易,供貨廠商也更多。
TOF最具技術含金量的器件就是TOF芯片,然而TOF芯片和普通的可見光CMOS芯片在基礎構造上大同小異。目前芯片資源多來自日本的Sony,還有其他幾家日本、美國等供應商。眾所周知,Sony長久以來一直作為手機攝像頭CMOS芯片主力提供商,已穩定供貨長達十幾年之久,在品質和供貨上均有保證。有這樣強大的芯片設計和生產背景,相信在TOF芯片的供貨保證上也不會讓人失望。
六.生產應用的復雜度
結構光主要瓶頸在于模組的產品良率較低,無法正常供貨。事實上,結構光對組裝精度要求之高,業內已不是秘密,主要受制于它是通過三角測量法來計算深度信息的工作原理。一旦Baseline有所偏移,或者投射接收模組之間的角度發生偏移,都會帶來深度計算的誤差。這是對模組供應商和手機廠商生產能力的一種考驗,而且低良率勢必帶來高成本和昂貴的價格。TOF深度計算的原理則完全不同,是通過TOF芯片接收反射回來光線的相位差來計算深度,只需確保相位接收正確,對組裝精度要求更低,生產上會容易得多。
七.結構光的算法大戰
2017年是結構光被火熱追捧的一年,然而并沒有像大眾所預想的那樣,在手機端廣泛鋪開被使用。除了前面提到的制作工藝,以及器件供應上的難度,更大的原因可能還是在于算法。
結構光的算法原理在實現上看起來并不難,難的是算法的優化,如何讓算法工作起來輕松便捷,功耗低,占用資源少是最難的問題。大多結構光算法運算數據量較為龐大,需要附加額外的算法處理芯片到手機端。
大陸手機廠可供選擇的成熟算法廠商并不多,大多算法公司之前只止步于常規安防或者商用等階段,沒有在手機類消費便攜設備上使用的經驗,有些算法公司甚至還停留于實驗演示階段,遠遠無法滿足便攜設備對于功耗低、發熱低、尺寸小、易集成等方面的要求。加上算法公司難以適應手機端突然到來的結構光熱潮,很多算法公司的精力都只夠支持1~2家手機終端的應用。算法資源非常緊缺,一度出現了手機終端搶占算法資源的現象。
TOF的核心算法在于深度信息的生成,通常由TOF芯片廠商提供Library,放在手機AP里面調用,算法整體運算量并不大,不需要額外附加處理芯片,對AP本身的硬件能力要求也相對不高。相同的方案和算法Library可供不同的手機廠商采用,移植簡單靈活,通用性更廣,不像結構光整體移植工程較為龐大,對平臺硬件有一定要求,且受制于專利等原因通用性沒有那么強。
當然,復雜的算法計算也有給結構光帶來優勢,雖然它并不適用于遠距離拍攝,但是近距離的深度精度表現較好,如果算法足夠好,深度響應速率可以和接收芯片保持相同,在點云響應上速度也較快,這也是結構光目前被用于前攝3D成像的主要原因。
八.TOF應用可玩性更大
消費者最關心的主要是應用了,目前結構光應用主要有人臉建模、人臉識別、移動支付、角色創建等。
人臉識別和角色動畫的門檻不高,通過RGB+IR或者雙IR攝像頭也可以實現識別+活體檢測,各手機終端出于成本考慮,也在研究雙攝方案看能否在中低端系列手機上實現3D人臉識別和角色創建等效果。
人臉支付應用實現的技術門檻更高,對深度的精度和準確度要求更高。不過,據業內可靠消息稱,目前TOF已基本具備實現人臉支付的能力,人臉占據一定像素以上便可實現支付,TOF作為人臉支付距離相對結構光更遠,使用起來也許沒有結構光那么方便。隨著TOF技術的不斷進步,后續完全替代結構光方案也不是沒有可能。
同時,TOF在后攝應用上的可玩空間也很大,TOF通過3D建??捎糜贏R成像,應用包括AR游戲、AR裝潢、3D試裝、體感游戲、全息影像交互等。
5G網絡帶來的高帶寬,為3D視覺技術提供了信息傳輸的保障, 3D視頻通話、虛景+虛景的遠程VR、虛景+實景的遠程AR、實景+實景的遠程JR等泛在現實使用場景將迎來爆發式應用。
綜合TOF應用便捷集成度高、供貨穩定、可玩性強等多方面的優勢,并隨著TOF精度的不斷改良,后續替代結構光方案成為前攝應用看起來有很大可能。TOF以其多方面的優勢,成為旗艦手機3D成像的主要方案,已成為不爭的事實。同時,目前已有手機終端都在用多攝像頭方案,用以替代結構光成為中低端手機前置3D方案的選擇。3D市場風云變幻,結構光看起來越來越沒有競爭力了。