雙目視覺傳感器的現場標定技術
1 引言
視覺檢測廣泛地應用于工件的完整性、表面平整度的測量:微電子器件(IC芯片、PC板、BGA)等的自動檢測;軟質、易脆零部件的檢測;各種模具三維形狀的檢測;機器人的視覺導引等。最具有吸引力的是由視覺傳感器陣列組成的大型物體(如白車身)空間三維尺寸多傳感器視覺檢測系統。這種系統柔性好;測量為非接觸式、動態響應快,能滿足大量生產“節拍”短的要求,而且整個測量過程高度自動化。目前,在美國這種視覺檢測系統已逐步取代大型三坐標測量機,對轎車車身空間三維尺寸進行檢測,尤其是在線檢測。
雙目視覺傳感器由兩臺性能相同的面陣CCD攝像機組成,基于立體視差的原理,可完成視場內的所有特征點的三維測量,尤其是其它類型的視覺傳感器所不能完成的測量任務,如圓孔的中心、三棱頂點位置的測量等。因此,雙目視覺傳感器是多傳感器視覺檢測系統的主要傳感器之一。要實現雙目視覺傳感器直接測量大型物體關鍵點的三維測量,就必須知道傳感器的內部參數(攝像機的參數)、結構參數(兩攝像機間的位置關系)及傳感器坐標系與檢測系統的整體坐標系的關系(即全局標定)。因此,在實際測量之前,先要對攝像機進行參數標定。一般方法是,傳感器被提供給整個系統使用前,就離線完成傳感器的內部參數及結構參數的標定,采用一標準二維精密靶標及一維精密導軌,通過移動導軌來確定坐標系的一個坐標,通過攝像機的像面坐標及三個世界坐標的對應關系求得這些參數[1]。這種方法的缺點是:標定過程中,需要精確調整靶標與導軌的垂直關系,而且需多次準確移動導軌;同時標定過程的環境與實際測量的情形有差異;傳感器在安裝的過程中,易引起部分參數的變化,需多次的拆卸;攝像機還需進行全局標定。由此可知標定的勞動強度大,精度難以保證。本文提出了一種現場雙目傳感器的標定方法,只需先確定攝像機的部分不易變化的參數,其它參數在攝像機安裝到整個系統后進行標定。該方法大大地減少了上述因素的影響,能得到滿意的標定精度。
2 雙目視覺傳感器三坐標數學模型
2.1 攝像機模型
假定攝像機模型為理想的針孔透視變換模型,不考慮透鏡的畸變,采用較好的光學鏡頭,獲得的精度足以滿足象白車身檢測一類的大型尺寸檢測系統。建立如圖2所示的攝像機模型。
設(x,y,z)是空間點P在攝像機坐標系(定義如圖2)中的三維坐標,攝像機坐標系定義為:中心在O點(光學中心),Z軸與光軸重合。OXY是中心在O點(光軸Z與圖像平面的交點)平行于x、y軸的圖像坐標系。物空間點與OXY像面間構成理想的透視對應。圖像在計算機中的坐標系Ofuv的單位是像素(pixels),則oxyz空間點到像面的透視變換為:
2.2 雙目視覺傳感器三坐標測量模型
由兩臺CCD攝像機組成的空間三坐標測量傳感器的數學模型和相應的各種坐標系如圖3所示。設攝像機1位于傳感器測量坐標系oxyz的原點處且無旋轉,像面坐標系為O1X1Y1,有效焦距為f1,像面中心為(u01,v01);攝像機2坐標系為o2x2y2z2,像面坐標系為O2X2Y2,有效焦距為f2,像面中心為(u02,v02),攝像機模型如前所述。
3 參數標定
3.1 橫縱像素轉換當量比sx與圖像中心點(u0,v0)的標定
對CCD面陣攝像機而言,CCD面陣上相鄰兩行像素的間距已知,而X方向的等效間距受時序及采樣的影響,將是不確定的。因焦距同時在X和Y方向上放縮圖像,假定垂直像素間距為1,則此時sx代表圖像的橫縱比。因此,垂直拍攝一個圓環,然后計算水平方向和垂直方向上的直徑比,就可求得sx。實際X方向的等效間距為sx與Y方向實際像素間距的乘積。
因為攝像機CCD面陣安裝并不能保證與透鏡的光軸為中心,且圖像采集數字化的窗口的中心不一定與光學中心重合,這些因素造成了實際中心與圖象幀存中心不重合。所以對三維視覺來說,必須精確標定攝像機的光學中心。利用激光束照射攝像機的透鏡系統,根據激光束的反射情況調節激光束使其精確地通過光學中心,此時圖像中激光束的像(一個光點)表示出了圖像中心,這種直接的標定方法簡便且有足夠的精度。
3.2 焦距f1,f2,旋轉矩陣R和平移矢量T的確定
由式(6)得到
(f2tx-X2tz)(r4X1+r5Y1+f1r6)
-(f2ty-Y2tz)(r1X1+r2Y1+f1r3)
=(Y2tx-X2ty)(r7X1+r8Y1+f1r9) (7)
令T=αΤ,因tx≠0,選擇α=1/tx,則有T′=(1 t′y t′z)T,利用式(6)對每個觀測點求得帶有比例因子的zi。(7)式是一個含有13個未知數f1,f2,t′y,t′z,r1~r9的非線性方程,用函數f(x)=0來表示。
其中x=(f1,f2,t′y,t′z,r1,r2,r3,r4,r5,r6,r7,r8,r9) (8)
另外,r1~r9構成的旋轉矩陣R是正交的,具有六個正交約束條件。由此構成如下罰函數:
4 實驗結果
實驗選用由兩臺512像素×512像素的CCD攝像機(MTV-1881CB)和25mm的COMPUTAR TV鏡頭組成的雙目視覺傳感器和精密平面孔靶在現場進行的。標定靶標如圖4所示。圖中細線為所選兩點的已知距離,該實驗選取為D=24.083mm;“+”字絲用作全局標定時經緯儀瞄準用。我們以傳感器的左攝像機為基準建立傳感器測量坐標系,標定時至少將靶標擺在兩個不同位置處,對準攝像機,每次的靶標平面角度變化大于10°,至少得到7個位于兩個不同平面的觀測點,采用如前所述算法即獲得參數R,T,和兩攝像機的有效焦距。實際上每次可取24個標定點進行標定。
標定好參數后,讓靶標任意擺放在傳感器的測量范圍內的不同位置處,雙目傳感器測量孔靶上多個孔心坐標,然后求出孔間距離并與實際值相比較。測量比對結果如表1。實驗結果表明,本文所述標定方法可以獲得較高精度攝像機參數,測量空間三維坐標的誤差不超過±0.05mm,足以滿足大型視覺檢測系統中對雙目視覺傳感器的精度要求。
表1 雙目視覺傳感器測量實驗結果 實際距離:24.083mm
序號
孔心坐標X
孔心坐標y
孔心坐標z
距離
偏差
1
-23.972
-6.480
4.763
21.298
424.024
423.769
24.071
-0.012
2
31.316
14.082
-30.098
-13.346
400.159
399.652
24.039
-0.044
3
-3.978
14.014
-1.579
14.45
380.563
381.380
24.112
0.031
5 結論
本文提出了一種現場雙目傳感器的標定方法,只需先確定攝像機的部分不易變化的參數,其它參數在攝像機安裝到整個系統后進行現場標定。該方法不需精確確定調整靶標,標定環境與實際測量環境完全相同,減少了安裝傳感器對標定參數的影響,同時可與全局標定一起進行,大大地減少了勞動強度。實驗結果表明,能得到滿意的標定精度。該標定方法已用于轎車白車身視覺檢測系統的現場標定過程中,并取得滿意的結果。
視覺檢測廣泛地應用于工件的完整性、表面平整度的測量:微電子器件(IC芯片、PC板、BGA)等的自動檢測;軟質、易脆零部件的檢測;各種模具三維形狀的檢測;機器人的視覺導引等。最具有吸引力的是由視覺傳感器陣列組成的大型物體(如白車身)空間三維尺寸多傳感器視覺檢測系統。這種系統柔性好;測量為非接觸式、動態響應快,能滿足大量生產“節拍”短的要求,而且整個測量過程高度自動化。目前,在美國這種視覺檢測系統已逐步取代大型三坐標測量機,對轎車車身空間三維尺寸進行檢測,尤其是在線檢測。
雙目視覺傳感器由兩臺性能相同的面陣CCD攝像機組成,基于立體視差的原理,可完成視場內的所有特征點的三維測量,尤其是其它類型的視覺傳感器所不能完成的測量任務,如圓孔的中心、三棱頂點位置的測量等。因此,雙目視覺傳感器是多傳感器視覺檢測系統的主要傳感器之一。要實現雙目視覺傳感器直接測量大型物體關鍵點的三維測量,就必須知道傳感器的內部參數(攝像機的參數)、結構參數(兩攝像機間的位置關系)及傳感器坐標系與檢測系統的整體坐標系的關系(即全局標定)。因此,在實際測量之前,先要對攝像機進行參數標定。一般方法是,傳感器被提供給整個系統使用前,就離線完成傳感器的內部參數及結構參數的標定,采用一標準二維精密靶標及一維精密導軌,通過移動導軌來確定坐標系的一個坐標,通過攝像機的像面坐標及三個世界坐標的對應關系求得這些參數[1]。這種方法的缺點是:標定過程中,需要精確調整靶標與導軌的垂直關系,而且需多次準確移動導軌;同時標定過程的環境與實際測量的情形有差異;傳感器在安裝的過程中,易引起部分參數的變化,需多次的拆卸;攝像機還需進行全局標定。由此可知標定的勞動強度大,精度難以保證。本文提出了一種現場雙目傳感器的標定方法,只需先確定攝像機的部分不易變化的參數,其它參數在攝像機安裝到整個系統后進行標定。該方法大大地減少了上述因素的影響,能得到滿意的標定精度。
2 雙目視覺傳感器三坐標數學模型
2.1 攝像機模型
假定攝像機模型為理想的針孔透視變換模型,不考慮透鏡的畸變,采用較好的光學鏡頭,獲得的精度足以滿足象白車身檢測一類的大型尺寸檢測系統。建立如圖2所示的攝像機模型。
設(x,y,z)是空間點P在攝像機坐標系(定義如圖2)中的三維坐標,攝像機坐標系定義為:中心在O點(光學中心),Z軸與光軸重合。OXY是中心在O點(光軸Z與圖像平面的交點)平行于x、y軸的圖像坐標系。物空間點與OXY像面間構成理想的透視對應。圖像在計算機中的坐標系Ofuv的單位是像素(pixels),則oxyz空間點到像面的透視變換為:
2.2 雙目視覺傳感器三坐標測量模型
由兩臺CCD攝像機組成的空間三坐標測量傳感器的數學模型和相應的各種坐標系如圖3所示。設攝像機1位于傳感器測量坐標系oxyz的原點處且無旋轉,像面坐標系為O1X1Y1,有效焦距為f1,像面中心為(u01,v01);攝像機2坐標系為o2x2y2z2,像面坐標系為O2X2Y2,有效焦距為f2,像面中心為(u02,v02),攝像機模型如前所述。
3 參數標定
3.1 橫縱像素轉換當量比sx與圖像中心點(u0,v0)的標定
對CCD面陣攝像機而言,CCD面陣上相鄰兩行像素的間距已知,而X方向的等效間距受時序及采樣的影響,將是不確定的。因焦距同時在X和Y方向上放縮圖像,假定垂直像素間距為1,則此時sx代表圖像的橫縱比。因此,垂直拍攝一個圓環,然后計算水平方向和垂直方向上的直徑比,就可求得sx。實際X方向的等效間距為sx與Y方向實際像素間距的乘積。
因為攝像機CCD面陣安裝并不能保證與透鏡的光軸為中心,且圖像采集數字化的窗口的中心不一定與光學中心重合,這些因素造成了實際中心與圖象幀存中心不重合。所以對三維視覺來說,必須精確標定攝像機的光學中心。利用激光束照射攝像機的透鏡系統,根據激光束的反射情況調節激光束使其精確地通過光學中心,此時圖像中激光束的像(一個光點)表示出了圖像中心,這種直接的標定方法簡便且有足夠的精度。
3.2 焦距f1,f2,旋轉矩陣R和平移矢量T的確定
由式(6)得到
(f2tx-X2tz)(r4X1+r5Y1+f1r6)
-(f2ty-Y2tz)(r1X1+r2Y1+f1r3)
=(Y2tx-X2ty)(r7X1+r8Y1+f1r9) (7)
令T=αΤ,因tx≠0,選擇α=1/tx,則有T′=(1 t′y t′z)T,利用式(6)對每個觀測點求得帶有比例因子的zi。(7)式是一個含有13個未知數f1,f2,t′y,t′z,r1~r9的非線性方程,用函數f(x)=0來表示。
其中x=(f1,f2,t′y,t′z,r1,r2,r3,r4,r5,r6,r7,r8,r9) (8)
另外,r1~r9構成的旋轉矩陣R是正交的,具有六個正交約束條件。由此構成如下罰函數:
4 實驗結果
實驗選用由兩臺512像素×512像素的CCD攝像機(MTV-1881CB)和25mm的COMPUTAR TV鏡頭組成的雙目視覺傳感器和精密平面孔靶在現場進行的。標定靶標如圖4所示。圖中細線為所選兩點的已知距離,該實驗選取為D=24.083mm;“+”字絲用作全局標定時經緯儀瞄準用。我們以傳感器的左攝像機為基準建立傳感器測量坐標系,標定時至少將靶標擺在兩個不同位置處,對準攝像機,每次的靶標平面角度變化大于10°,至少得到7個位于兩個不同平面的觀測點,采用如前所述算法即獲得參數R,T,和兩攝像機的有效焦距。實際上每次可取24個標定點進行標定。
標定好參數后,讓靶標任意擺放在傳感器的測量范圍內的不同位置處,雙目傳感器測量孔靶上多個孔心坐標,然后求出孔間距離并與實際值相比較。測量比對結果如表1。實驗結果表明,本文所述標定方法可以獲得較高精度攝像機參數,測量空間三維坐標的誤差不超過±0.05mm,足以滿足大型視覺檢測系統中對雙目視覺傳感器的精度要求。
表1 雙目視覺傳感器測量實驗結果 實際距離:24.083mm
序號
孔心坐標X
孔心坐標y
孔心坐標z
距離
偏差
1
-23.972
-6.480
4.763
21.298
424.024
423.769
24.071
-0.012
2
31.316
14.082
-30.098
-13.346
400.159
399.652
24.039
-0.044
3
-3.978
14.014
-1.579
14.45
380.563
381.380
24.112
0.031
5 結論
本文提出了一種現場雙目傳感器的標定方法,只需先確定攝像機的部分不易變化的參數,其它參數在攝像機安裝到整個系統后進行現場標定。該方法不需精確確定調整靶標,標定環境與實際測量環境完全相同,減少了安裝傳感器對標定參數的影響,同時可與全局標定一起進行,大大地減少了勞動強度。實驗結果表明,能得到滿意的標定精度。該標定方法已用于轎車白車身視覺檢測系統的現場標定過程中,并取得滿意的結果。
文章版權歸西部工控xbgk所有,未經許可不得轉載。