三維成像進入機器視覺世界

機器視覺作為計算機科學的一個子集已經存在超過20年了。然而，近幾年來，三維成像技術以一種更為引人注目的方式進入機器視覺世界。對三維視覺的無數種方法進行了研究，但只有少數這些技術已被商業化。最杰出的三維影像產品一直是微軟Kinect為Xbox 360游戲機。Kinect采用的是“光”的原則來計算深度。它有一個額外的彩色攝像機內置允許皮膚顏色被應用到3D場景。還有其他一些常見的三維成像技術，如立體視覺，飛行時間（TOF）、激光三角法和干涉法等等。其他人被故意省略，因為這篇文章是不打算討論他們所有。

 

干涉

大多數機器視覺應用程序有一個不斷增長的需求，掃描速度和空間分辨率。三維應用也不例外。作為機器視覺工程師都非常清楚，需要捕獲大的視場（FOV）往往競爭與預期（或提供）的分辨率和掃描速度的系統。一個應用三維成像視場和速度往往是不可知論者是計量。在這里，它是更可取的，以實現在X，Y和Z尺寸的最高可能的空間分辨率。一種典型的三維測量系統的三維成像技術是基于垂直掃描白光干涉。

該技術利用干涉圖和基于條紋對比度的提取高度。與大多數其他的三維成像技術相比，這一個實現的分辨率超出了可見光的折射極限。這些系統是能夠解決的，以單個數字納米（納米）。看近似場（FOV）這樣的系統通常限于約200微米（?m）x 200 m×10 m??垂直運動的透鏡元件或掃描頭是必要的，這樣就增加了掃描時間。這些限制使使用這種特定的技術以外的計量不可取的，特別是對機器視覺應用涉及移動部件。

 

結構光

如前所述，微軟的Kinect是最知名的基于結構光的三維成像系統。雖然它在消費電子和視頻游戲市場上首次亮相，但這項技術的使用已經蔓延到工業機器視覺領域。有人企圖利用Kinect拾放機器人的應用，機器視覺軟件供應商發布Kinect驅動程序和接口，和大學是基于Kinect機器視覺研究的起點。這是一個很有能力的，低成本的3D和1280 x 1024像素，每秒15幀的采樣率的二維成像平臺（FPS）。

 Kinect有一個內置的紅外（IR）激光投影系統，是人眼看不見的。它將一個紅外點模式引入到它的視圖字段中。它采用像散透鏡（X、Y軸不同焦距）來區分遠近基于投影點的伸長方向的物體。它還結合了兩個三維成像技術：從立體聲的深度和深度。這種系統的局限性，當它涉及到應用機器視覺是固定投影和成像光學，和整體外形的因素，這是專為客廳。盡管如此，Kinect是一個最新的強大的三維成像系統，盡管它的成本低。

 

雙目立體視覺

這項技術似乎在最近幾年卷土重來。無論是在最小的侵入性手術或自主機器人應用的醫療成像，使用兩個攝像頭在一個定義的角度來創建深度感知是一個相對直觀的方法，因為它非常相似的人類視覺的三維成像。然而，用于處理的圖像的幾何算法可以迅速變得更復雜，如果無論是相機或風景的運動引入。根據精度的要求，這兩個相機需要進行同步，以避免在圖像捕獲的時間誤差，這將導致一個錯誤的深度和位置知覺。

相機也需要避免不同倍率鏡頭的焦距設置準確。例如，實現一個具有變焦鏡頭的立體視覺系統，增加了另一層的復雜性，因為鏡頭的焦距可以改變，需要相機的相對角度來改變。環境越控制，就越容易校準一個立體視覺系統。一個典型的結果圖像被稱為一個視差圖或差分圖，用戶可以從中提取進一步的信息的對象（S）的觀察。

 

飛行時間

只有幾次的飛行相機商業上可用于機器視覺應用。他們中的一些人偽裝成智能的三維傳感器。這些傳感器或相機通常使用一個紅外發光二極管陣列，波長約為780至900納米。的紅外光的產生與在傳感器中的檢測器，以確定一個相移，因此允許飛行時間的計算是緊密同步的。從飛行時間，傳感器能夠計算距離的對象，從該光反彈回來。一個人最大的缺點與目前可用的TOF傳感器和攝像頭主要是在X和Y傳感器分辨率的空間分辨率通常在175×145像素的范圍。通常情況下，鏡頭是不可更換的，限制了這一技術到一個固定的信封。有一些啟動公司在市場上，正在試圖解決更高的像素分辨率的需求。

 

激光三角法

到目前為止，最常用的是基于激光三角測量的機器視覺應用中最常用的三維技術。一個典型的可見光半導體激光器是用在一個點或線投影在一個二維的互補金屬氧化物半導體（CMOS）或組合光電荷耦合器件（CCD）攝像機。有時，所有這些元素都被納入一個密封的傳感器外殼。這些激光三角測量傳感器有幾個不同的類別。最簡單的形式是一個一維的距離傳感器。激光點投射到一個面和反彈一個位置敏感傳感器或CMOS或CCD陣列。三角測量是用來計算從傳感器到表面的有效距離。它是可能的測量一個單一的點的距離，或與另外的一個運動系統，通過點掃描的輪廓或整個表面執行一個點。

第二類包括2?D傳感器，這本質上是相同的一維傳感器，但與激光線而不是一個單一的點。一個2?D傳感器可以捕獲在一個單一的掃描實例對象的截面輪廓。一個真正的三維激光三角測量系統具有緩沖這些2?D剖面的記憶和傳遞一個完整的3-D圖像或進行處理的完整的圖像在內存中可用的算法基于固件的能力。從這些三維相機或系統的典型的圖像格式是一個16位“高度圖”，所有的X和Y的位置是相同的，從一個二維圖像的期望。的Z高度信息包含在強度（亮度）值的形式。對于校準的傳感器輸出，圖像格式也可以是一個浮點型，以毫米（毫米）的高度值為例。

激光三角測量技術在機器視覺中是常見的，因為它結合了良好的分辨率與速度，通常提供的工作距離和視野的靈活性。然而，與任何其他的三維方法，這也有它的局限性和挑戰。

讓我們先來看看如何從一個單一的激光輪廓投影到一個物體的高度計算。假設激光線是在利益觀或地區的預定義場（AOI）的相機，激光線的中心需要確定。這是由于這樣的激光被反射表面和激光斑點。換言之，激光線似乎比它實際上更廣泛。

尋找激光線的中心有三種常見的算法。所有的算法搜索一個時間的一個像素列的基礎上的線的中心。在任何給定的像素列中確定的中心的Y位置與三角化的角度轉換成Z高度值。該峰值算法尋找在列中的最亮的像素。閾值算法尋找一個設置閾值的像素值。這兩種算法都是快速的，但僅限于全像素分辨率。第三算法是基于計算重心（COG）的激光線厚度一般高斯分布。COG方法允許使用亞像素估計使高度測量更準確。這種方法的一個缺點是，它是非常處理器密集型的，它可能會減慢的3D相機的掃描速度顯著，除非相機有一個專用的處理器，以應付它。

現在，我們知道了如何構建的三維圖像，讓我們看看在應用三維成像使用這種技術中遇到的典型的挑戰。

表面反射是最大的挑戰之一。反射是表面的能力，以反映任何給定的波長的光。激光是單色光源，例如660納米（紅色）。掃描一個暗淡的，黑色的橡膠材料，如輪胎可能會導致大部分的紅色激光線被吸收到它的表面，這樣很少的光會反射到相機。減輕這種低信號強度的一些方法是打開鏡頭的光圈，降低掃描速度，或增加激光功率。相反的將是真實的一個閃亮的表面在一定程度上。獲得一個干凈的圖像變得更具挑戰性時，表面由兩個沉悶和閃亮的部分，造成無論是在或在曝光。

一些更復雜的三維相機有一個擴展的動態范圍和多斜率掃描能力，以幫助解決這些挑戰。除了表面光潔度，也有幾何的挑戰，往往發生。這些主要是由三角的角度引起的。簡單的東西像一個90度的垂直墻可能會導致不準確的結果，這取決于部分方向和三角設置。有時解決一個幾何挑戰的唯一方法是使用第二個激光，第二個相機或兩者，在這種情況下，兩個相機和或兩個激光器需要準確地對齊和校準，使他們的圖像可以準確地合并。

是三維成像準備在工業機器視覺應用的黃金時段？絕對！三維成像是一個成熟的和強大的成像工具，一個廣泛的應用程序，并可以使收購的有價值的信息，二維成像不能。無論你選擇的應用程序的三維成像技術，重要的是要記住，三維系統是遠離瑣碎的配置和操作，盡管傳感器制造商的營銷努力。不要期待完美的三維圖像。這些圖像通常帶有“孔”或丟失的數據，有時包括錯誤的數據所造成的反射和不利的部分的幾何形狀。一個完整的單獨的軟件工具是必要的處理與處理前處理，校準，圖像融合，視差圖生成，高度地圖到點云轉換，和缺陷檢測。

如果相機供應商堅持機器視覺標準的接口和協議很有幫助，如視覺和genicam使現有的機器視覺軟件工具可以很方便的接口硬件的三維成像。另一個考慮的領域是激光安全，這是經常被忽視的。典型的激光器用于這些應用屬于IIIB類的范疇，不是人眼安全。激光安全員通常是在安裝現場需符合OSHA要求除其他設計和實施措施。然而，一旦正確實施，3D成像將為您的應用程序添加一個全新的視角。

 

技術提示

三維成像可以使采集到的有價值的信息，二維成像不能。

軟件工具可以處理前處理，校準，圖像合并，視差圖生成，高度地圖到點云轉換，和缺陷檢測。

如果相機提供商堅持機器視覺標準的接口和協議，現有的機器視覺軟件工具可以很容易地接口的三維成像硬件。