TOF是Time of flight的簡寫，直譯為飛行時間的意思。飛行時間技術(shù)在廣義上可理解為通過測量物體、粒子或波在固定介質(zhì)中飛越一定距離所耗費時間（介質(zhì)/距離/時間均為已知或可測量），從而進一步理解離子或媒介某些性質(zhì)的技術(shù)。

1 測距  最早應(yīng)用該原理的器件是超聲測距儀。

ToF測距方法屬于雙向測距技術(shù)，它主要利用信號在兩個異步收發(fā)機(Transceiver)（或被反射面）之間往返的飛行時間來測量節(jié)點間的距離。傳統(tǒng)的測距技術(shù)分為雙向測距技術(shù)和單向測距技術(shù)。在信號電平比較好調(diào)制或在非視距視線環(huán)境下，基于RSSI(Received Signal Strength Indication，接收的信號強度指示)測距方法估算的結(jié)果比較理想;在視距視線環(huán)境下，基于ToF距離估算方法能夠彌補基于RSSI距離估算方法的不足。

ToF測距方法有兩個關(guān)鍵的約束：一是發(fā)送設(shè)備和接收設(shè)備必須始終同步;二是接收設(shè)備提供信號的傳輸時間的長短。為了實現(xiàn)時鐘同步，ToF測距方法采用了時鐘偏移量來解決時鐘同步問題。Renesas(Intersil)的ToF信號處理IC——ISL29501方案就是典型的ToF方案，可用于所有光照條件，并且實現(xiàn)了小型化和電池應(yīng)用的低功耗。因為信號處理器技術(shù)使用了基于相位的ToF來應(yīng)對檢測物體周圍的環(huán)境光的影響。 

ISL29501 是一款創(chuàng)新的飛行時間 ( Time of Flight，簡稱 ToF ) 信號處理 IC，可與外部發(fā)射器（LED或激光）及光敏二極管一起構(gòu)成完整的目標物檢測和距離測量解決方案。ISL29501 提供[敏感詞]的功能，包括超小尺寸、低功耗和出色的性能，是構(gòu)成物聯(lián)網(wǎng) ( IoT ) 的聯(lián)網(wǎng)設(shè)備以及消費移動設(shè)備和新興商業(yè)無人機應(yīng)用的理想選擇。ISL29501 采用電源管理技術(shù)專長來節(jié)省功耗，并通過多項創(chuàng)新成果延長電池續(xù)航時間。可編程電流可達 255mA 的片上發(fā)射器 DAC 允許系統(tǒng)設(shè)計工程師選擇他們中意的用于驅(qū)動外紅外 ( IR ) LED 或激光的電流電平。該特性可幫助優(yōu)化距離測量、目標物檢測和功率預(yù)算。ISL29501 的單次觸發(fā)模式有助于設(shè)計工程師定義針對初始目標物檢測和近似距離測量的采樣周期，從而節(jié)省功耗，而連續(xù)模式能夠更準確地測量距離。ISL29501 還執(zhí)行系統(tǒng)校準，以適應(yīng)外部元件由于溫度和環(huán)境光條件變化而引起的性能波動。

ISL29501典型應(yīng)用電路

2 微電子學(xué)

飛行時間技術(shù)可用來估計電子遷移相關(guān)性質(zhì)。起初該原理被用于測量低電導(dǎo)率的薄膜，后來進一步拓展到了常見半導(dǎo)體等。利用激光或電壓脈沖激發(fā)出來的大量電荷，該技術(shù)也能用于金屬-絕緣體-金屬（MDM）結(jié)構(gòu) [2]  或有機場效應(yīng)晶體管 [3]  等領(lǐng)域。

3 醫(yī)學(xué)

在磁共振血管造影（Magnetic resonance angiography，MRA）領(lǐng)域，飛行時間法是一項主要的基礎(chǔ)技術(shù)。MRA可用于動脈瘤，血管狹窄等癥狀的判斷，或用于某些解剖學(xué)領(lǐng)域。 

4 質(zhì)譜學(xué)

在飛行時間質(zhì)譜學(xué)領(lǐng)域，不同的離子可通過電場加速至同樣的動能，而其速度由質(zhì)荷比決定。因此可用過飛行時間技術(shù)測量速度從而得知質(zhì)荷比，并進一步得知動能等信息。

連續(xù)波ToF和脈沖ToF

對于不具有高精度要求的應(yīng)用，CW系統(tǒng)可能比基于脈沖的系統(tǒng)更易于實現(xiàn)，因為光源不一定要非常短，且具有快速的上升/下降沿，盡管很難再現(xiàn)。在實踐中是完美的正弦波。然而，如果對精度的要求變得更加嚴格，則將需要更高頻率的調(diào)制信號，并且在實踐中可能難以實現(xiàn)。

由于照明信號的周期性，來自CW系統(tǒng)測量的任何相位測量都將每2π環(huán)繞一次，這意味著會有混疊距離。對于只有一個調(diào)制頻率的系統(tǒng)，混疊距離也將是[敏感詞]可測量距離。為了克服該限制，可以使用多個調(diào)制頻率來執(zhí)行相位展開，其中，如果具有不同調(diào)制頻率的兩個（或多個）相位測量值與估計距離相一致，則可以確定對象的真實距離。這種多調(diào)制頻率方案還可用于減少多徑誤差，該誤差在來自物體的反射光在返回傳感器之前撞擊另一個物體（或在透鏡內(nèi)部內(nèi)部反射）時發(fā)生，從而導(dǎo)致測量誤差。

取決于其配置，CMOS ToF成像器往往具有更大的靈活性和更快的讀出速度，因此可以實現(xiàn)諸如感興趣區(qū)域（RoI）輸出之類的功能。

在溫度范圍內(nèi)校準CW ToF系統(tǒng)可能比脈沖ToF系統(tǒng)容易。隨著系統(tǒng)溫度的升高，由于溫度變化，解調(diào)信號和照明將相對于彼此偏移，但是這種偏移只會影響測量距離，而偏移誤差在整個范圍內(nèi)都是恒定的，并且深度線性度基本保持穩(wěn)定。

連續(xù)波系統(tǒng)的缺點：

盡管CMOS傳感器與其他傳感器相比具有更高的輸出數(shù)據(jù)速率，但CW傳感器需要在多個調(diào)制頻率上進行四個相關(guān)函數(shù)采樣以及多幀處理才能計算深度。較長的曝光時間可能會限制系統(tǒng)的總體幀速率，或者可能導(dǎo)致運動模糊，從而可能會將其限制用于某些類型的應(yīng)用程序。這種更高的處理復(fù)雜性可能需要外部應(yīng)用程序處理器，這可能超出了應(yīng)用程序的要求。

對于更長距離的測量或環(huán)境光水平較高的環(huán)境，將需要更高的連續(xù)光功率（與脈沖ToF相比）；激光的這種連續(xù)照射可能會導(dǎo)致散熱和可靠性問題。

基于脈沖的ToF技術(shù)系統(tǒng)的優(yōu)勢：

基于脈沖的ToF技術(shù)系統(tǒng)通常依賴在短積分窗口內(nèi)以非常短的脈沖串發(fā)射的高能量光脈沖。這具有以下優(yōu)點：

它使設(shè)計對環(huán)境光穩(wěn)定的系統(tǒng)變得更加容易，因此更有利于室外應(yīng)用。
較短的曝光時間可[敏感詞]地減少運動模糊的影響。
在基于脈沖的ToF系統(tǒng)中，照明的占空比通常比可比的CW系統(tǒng)的照明占空比低得多，因此具有以下優(yōu)點：
在較低范圍的應(yīng)用中，它降低了系統(tǒng)的整體功耗。過將脈沖猝發(fā)置于幀中與其他系統(tǒng)不同的位置，可以避免來自其他脈沖ToF系統(tǒng)的干擾。這可以通過在各種系統(tǒng)的幀中協(xié)調(diào)脈沖的放置或通過使用外部光電檢測器確定其他系統(tǒng)的脈沖的位置來完成。另一種方法是動態(tài)隨機化脈沖突發(fā)的位置，這將消除協(xié)調(diào)各個系統(tǒng)之間的時序的需要，但不會完全消除干擾。由于脈沖時序和寬度不需要統(tǒng)一，因此可以實施不同的時序方案以實現(xiàn)諸如更寬的動態(tài)范圍和自動曝光等功能。

基于脈沖的ToF技術(shù)系統(tǒng)的缺點：
由于透射光脈沖和快門的脈沖寬度需要相同，因此系統(tǒng)的定時控制需要非常精確，并且根據(jù)應(yīng)用需要可能需要皮秒級的精度。為了獲得[敏感詞]效率，照明脈沖寬度必須非常短，但功率卻很高。因此，激光驅(qū)動器需要非?？斓纳仙?下降沿（小于1 ns）。與CW系統(tǒng)相比，溫度校準可能更加復(fù)雜，因為溫度變化會影響單個脈沖寬度，不僅影響偏移和增益，還影響其線性。

關(guān)于dTOF和iTOF

了解了ToF的概念之后，讓我們再來深入了解一下兩類ToF的基本成像原理

dToF，全稱是direct Time-of-Flight。顧名思義，dToF直接測量飛行時間。dToF核心組件包含VCSEL、單光子雪崩二極管SPAD和時間數(shù)字轉(zhuǎn)換器TDC。Single Photon Avalanche Diode(SPAD)是一種具有單光子探測能力的光電探測雪崩二極管，只要有微弱的光信號就能產(chǎn)生電流。dToF模組的VCSEL向場景中發(fā)射脈沖波，SPAD接收從目標物體反射回來的脈沖波。Time Digital Converter(TDC)能夠記錄每次接收到的光信號的飛行時間，也就是發(fā)射脈沖和接收脈沖之間的時間間隔。dToF會在單幀測量時間內(nèi)發(fā)射和接收N次光信號，然后對記錄的N次飛行時間做直方圖統(tǒng)計，其中出現(xiàn)頻率[敏感詞]的飛行時間t用來計算待測物體的深度，  。圖1是dToF單個像素點記錄的光飛行時間直方圖，其中，高度[敏感詞]的柱對應(yīng)的時間就是該像素點的最終光飛行時間。

單像素記錄的光飛行時間直方圖示意圖

dToF的原理看起來雖然很簡單，但是實際能達到較高的精度很困難。除了對時鐘同步有非常高的精度要求以外，還對脈沖信號的精度有很高的要求。普通的光電二極管難以滿足這樣的需求。而dToF中的核心組件SPAD由于制作工藝復(fù)雜，能勝任生產(chǎn)任務(wù)的廠家并不多，并且集成困難。所以目前研究dToF的廠家并不多，更多的是在研究和推動iToF。

iToF的概念和dToF相對應(yīng)，全稱是indirect Time-of-Flight，直譯就是間接光飛行時間。所謂間接，就是指iToF是通過測量相位偏移來間接測量光的飛行時間，而不是直接測量光飛行時間。

iToF向場景中發(fā)射調(diào)制后的紅外光信號，再由傳感器接收場景中待測物體反射回來的光信號，根據(jù)曝光（積分）時間內(nèi)的累計電荷計算發(fā)射信號和接收信號之間的相位差，從而獲取目標物體的深度。如圖2所示。

iToF成像原理示意圖

iToF模組的核心組件包含VCSEL和圖像傳感器。VCSEL發(fā)射特定頻率的調(diào)制紅外光。圖像傳感器在曝光（積分）時間內(nèi)接收反射光并進行光電轉(zhuǎn)換。曝光（積分）結(jié)束后將數(shù)據(jù)讀出，經(jīng)過一個模擬數(shù)字轉(zhuǎn)換器再傳給計算單元，最終由計算單元計算每個像素的相位偏移。iToF計算深度的方式通常是采用4-sampling-bucket算法，利用4個相位延遲為0°，90°，180°和270°的采樣信號計算深度。如圖3所示

連續(xù)波調(diào)制方式測相位偏移原理示意圖

根據(jù)上述原理圖，可以得到相位偏移的計算公式，  。然后，再根據(jù)相位偏移計算深度，  。其中，  是調(diào)制信號的頻率，  是光速。

 性能對比 

dToF和iToF雖然都是利用光飛行時間技術(shù)，但是兩者在測距原理和硬件實現(xiàn)上都有差異。軟硬件的差異會導(dǎo)致這兩類ToF在各方面的性能表現(xiàn)上各有千秋。

衡量ToF的性能指標，需要考慮幾個方面。因為ToF是一個可以測距的相機，作為一個測距設(shè)備，基本的評價指標有測距精度和有效探測距離。其次，作為相機而言，圖像分辨率也是一個重要的評價指標。此外，由于ToF本身只能提供3D信息，它將來更多的發(fā)展是集成到3D相關(guān)的應(yīng)用，比如3D建模、AR以及移動平臺。在集成到其他3D相關(guān)的應(yīng)用時，尤其是移動端和機器人平臺，必須要考慮它的能耗和成本，以及在各種復(fù)雜場景下的抗干擾能力。以上的這些特性，決定了dToF和iToF有著各自適用的應(yīng)用場景。

接下來，我們會從精度、有效探測距離、圖像分辨率、能耗、成本、抗干擾等7個方面，對比iToF和dToF的優(yōu)劣。

精度  精度指真實深度值和相機的測量值之間的差，是衡量一個測量設(shè)備的基本指標。
對于dToF，由于它采用單光子雪崩二極管（SPAD），能夠在很短的時間間隔內(nèi)測量吸收的光子數(shù)，最小能夠在  級的時間內(nèi)產(chǎn)生響應(yīng)電流。TDC的時間分辨率也高于  ，所以它的理論精度可以達到  。但是，由于雪崩過程存在量子噪聲和放大器噪聲，以及dToF中TDC模塊存在的固有噪聲，導(dǎo)致目前dToF的實際精度只能達到cm級，和iToF相近。但是，理論上dToF的測量誤差不會隨著測量距離的增加而增大。

iToF的測量精度和幾個因素有關(guān)，分別是調(diào)制光的頻率，光照功率以及積分時間。前文已經(jīng)提到了iToF的深度計算公式  。由此，可以推出深度噪聲（精度）  。由于c對應(yīng)光速，是一個固定值，所以深度精度和調(diào)制光的頻率、相位信噪比（phase SNR）有關(guān)。當相位信噪比一定時，頻率越高，深度噪聲越小，也意味著深度精度越高。

iToF的相位信噪比和傳感器接收到的光電流有關(guān)系。

其中，代表調(diào)制信號生成的電子，   代表調(diào)制光和環(huán)境光生成的電子總和，  代表電容的固有噪聲，  是調(diào)制對比度，描述傳感器分離和收集光電子的質(zhì)量。所以，  調(diào)制光信號生成的電子數(shù)越多，相位信噪比越大，進而推出深度精度越高。增大  有兩種方式，一種是增大光照功率，另外一種就是延長曝光時間，也就是前文提到的積分時間。

總的來說，目前的iToF深度精度在  級，并且隨著測量距離的增大，反射光的強度減小，相位測量的信噪比減小，[敏感詞]誤差也會隨之增大。

有效探測距離  有效探測距離指相機能夠輸出可靠深度的距離范圍，可靠深度意味著該深度值和真實值的誤差小于一定閾值。舉個簡單的例子，假設(shè)測量誤差在2cm以內(nèi)時，我們視作該深度值是可靠的。如果一個ToF模組測量5米的物體時，測量值是5.02米，誤差剛好達到了預(yù)先定義的極限。當物體位于5.01米時，測量值是5.22米，誤差超出了2cm。我們就可以說該ToF模組的有效探測距離是5米。

當然，限制ToF的有效探測距離的主要因素之一是相位模糊現(xiàn)象。

對于dToF而言，當測量距離較遠時，光飛行一個來回的時間超過了兩次連續(xù)發(fā)射脈沖的間隔，傳感器在發(fā)射第二個測量信號后，才接收到[敏感詞]個測量信號的反射波，就會把該反射波錯認為是第二個測量信號的近距離反射波，這時就會出現(xiàn)相位模糊現(xiàn)象。如圖4所示。圖4中case1表示的是近距離場景下dToF的測距原理圖，case2表示的是遠距離場景下，發(fā)生相位模糊現(xiàn)象的測距原理圖。

dToF脈沖測距原理示意圖

對于iToF而言，深度是通過相位偏移計算得到的，而相位偏移是通過一個反正切函數(shù)得到的  。反正切函數(shù)的返回值只會落在  ，所以測量深度的返回值也只會落在  。換言之，即使實際距離超出了  ，最終iToF的輸出深度也會落在  。這是由于三角函數(shù)的周期性帶來的相位模糊。

dToF會受到測量頻率（相鄰兩次測量的間隔時間）限制，iToF的有效探測距離會受到調(diào)制光的頻率限制。dToF在測量遠距離物體時，可以適當增加兩次測量之間的間隔，減少測量次數(shù)。但是，減少測量次數(shù)會同時降低測量精度，相當于是用精度換取有效探測距離。而iToF也可以通過降低調(diào)制光的頻率，從而犧牲一定的測量精度以獲得更遠的有效探測距離。

對于iToF而言，可以利用雙頻解決相位模糊現(xiàn)象。利用兩個不同頻率的測量數(shù)據(jù)去求解相位模糊度，從而恢復(fù)正確深度值。借助雙頻測量可以同時實現(xiàn)高精度測量和高有效探測距離。

圖像分辨率  dToF的圖像分辨率受到SPAD的限制，分辨率一般小于QVGA（320*240像素），新款iPad Pro的dToF分辨率有所提升，但是具體大小還未可知。

iToF技術(shù)發(fā)展相對成熟，圖像的分辨率大多都達到了QVGA（320*240像素），上海數(shù)跡的TC-S系列相機的分辨率可以達到VGA（640*480像素）。微軟[敏感詞]的Kinect有多個圖像分辨率，[敏感詞]可以達到1024*1024像素。

能耗  從發(fā)射信號來看， dToF則采用  級的脈沖激光，iToF目前大多采用連續(xù)波調(diào)制。相比較而言，脈沖波能夠達到超低占空比，所以功耗也較低。

從光照模式來看，由于dToF的測量精度不會隨著測量距離的增大而降低，所以功耗也會相對較低。反之，iToF目前采用的大多是面光發(fā)射方式。并且，隨著測量距離的增大，iToF需要提高光照功率或者延長曝光時間來獲取更高的精度，所需的功耗也會大幅增加。

成本 dToF采用的是數(shù)字電路架構(gòu)，不需要模數(shù)轉(zhuǎn)換。iToF采用的是模擬電路結(jié)構(gòu)，需要模數(shù)轉(zhuǎn)換芯片。

對于整體的硬件架構(gòu)而言，dToF的核心組件SPAD的制作工藝復(fù)雜，現(xiàn)有的資源少。iToF沒有這方面的顧慮。

在系統(tǒng)集成方面， dToF還需要額外的時間處理電路，系統(tǒng)集成難度較高。iToF的系統(tǒng)集成容易，不需要額外的測量電路。

抗環(huán)境干擾  環(huán)境干擾包括場景中環(huán)境光干擾、多路徑反射光干擾以及不同表面灰度等影響。這一類環(huán)境干擾發(fā)生在外界，和ToF本身的關(guān)系不大，環(huán)境干擾的差異主要是由不同ToF的測距原理引起的。

dToF單幀深度圖獲取時，會經(jīng)歷多次重復(fù)測量，并且采用時間直方圖統(tǒng)計的方式計算飛行時間，比較容易區(qū)分信號中的干擾成分?？弓h(huán)境干擾能力更強。

iToF在曝光階段，部分環(huán)境光混雜在調(diào)制光中被傳感器接收，然后計算相位偏移。無法從單次測量的結(jié)果中區(qū)分出環(huán)境光引起的干擾。環(huán)境光越強，相應(yīng)的，引起的深度誤差也越大。

應(yīng)用場景  dToF功耗低，并且體積小巧，更加適合工業(yè)機器人等需快速進行測距避障檢測的應(yīng)用，以及其他在空間受限的緊湊型設(shè)計中。

dToF抗環(huán)境干擾表現(xiàn)比較好，目前在戶外場景下的測距精度比iToF更加高，在戶外應(yīng)用場景中也比較占優(yōu)。

dToF的時間分辨率高，測量距離增大時精度不會大幅衰減，能耗也不會大幅提升，在AR應(yīng)用中的優(yōu)勢也比較顯著。

iToF的圖像分辨率較高，在物體識別，3D重建以及行為分析等應(yīng)用場景中能夠重現(xiàn)場景中更多的細節(jié)信息，在機器人、新零售等應(yīng)用領(lǐng)域占優(yōu)。

3D ISP 

dToF和iToF兩者的目標都是輸出一幅高質(zhì)量的深度圖像，所以兩者都需要深度數(shù)據(jù)層面的濾波和噪聲修正，比如空域濾波、點云域的噪聲濾波以及非一致性像素校準等。此外，兩者都擁有透鏡成像系統(tǒng)，所以無論是dToF還是iToF，都需要透鏡失真補償。硬件的溫度變化帶來的噪聲也同時存在于兩種ToF中，所以溫度補償也是兩者所必需的。

dToF是發(fā)射脈沖波，而不是特定頻率的調(diào)制波，所以dToF不需要做和調(diào)制光的頻率相關(guān)的處理，包括頻率校準、自動頻率選擇、高動態(tài)范圍（HDR）。但是dToF的發(fā)射脈沖也有一定的頻率，即相鄰兩個發(fā)射脈沖之間的時間間隔，dToF的頻率校準和發(fā)射脈沖的頻率相關(guān)。dToF僅僅輸出深度圖，而iToF同時輸出深度圖和幅值圖，所以dToF不需要做幅值校準。

此外，由場景干擾引起的多徑、相位模糊、運動模糊、內(nèi)反射等都是兩者所共有的問題，雖然dToF因為成像原理的特性具有更好的抗環(huán)境干擾能力，但是還是會受到這一類場景干擾的影響。不過不同的是，因為dToF和iToF的成像原理不同，兩者所需要的深度修正方式也會有所差異。

dToF和iToF兩者因為測距原理和硬件架構(gòu)的不同，各方面的性能互有優(yōu)劣，適用場景也不盡相同。兩者均面臨場景的適應(yīng)性，如何在任意場景下獲取可靠和準確的深度數(shù)據(jù)是非常大的技術(shù)挑戰(zhàn)，是ToF技術(shù)普及的關(guān)鍵。ToF應(yīng)用技術(shù)的普及有賴于3D ISP增強引擎來消除干擾，降低功耗，提高實時性能；需要面向3D行業(yè)的ISP IP及中間件，有力支撐上層應(yīng)用。所以說3D ISP是3D成像市場爆發(fā)的必要條件。數(shù)跡智能團隊正在研發(fā)3D ToF ISP Smart3D-ISP，以ISP技術(shù)為核心系統(tǒng)性地提升無論是dToF還是iToF的性能并降低功耗和成本是多年來的研發(fā)目標，將我們的3D ToF技術(shù)植入每部手機、每輛汽車、每個機器人、每臺家電，從而改變機器對世界的“看法”，實現(xiàn)深度的智能。

免責(zé)聲明：本文轉(zhuǎn)載自“大印藍?？萍肌?，本文僅代表作者個人觀點，不代表薩科微及行業(yè)觀點，只為轉(zhuǎn)載與分享，支持保護知識產(chǎn)權(quán)，轉(zhuǎn)載請注明原出處及作者，如有侵權(quán)請聯(lián)系我們刪除。