視頻交通車輛信息檢測器的設(shè)計與實現(xiàn)

摘要：針對近年來城市交通的擁擠現(xiàn)象，特別是駕駛員違章嚴(yán)重、交通事故頻發(fā)等問題，介紹了在現(xiàn)代交通控制和管理系統(tǒng)中占有十分重要地位的傳感器—視頻車輛檢測器。主要利用CCD攝像機(jī)與圖像處理技術(shù)，完成了視頻交通車輛信息檢測器，給出了系統(tǒng)的軟件和硬件構(gòu)架，并詳細(xì)分析了關(guān)鍵計算手段與方法。
關(guān)鍵詞：交通信息；視頻檢測；目標(biāo)識別；目標(biāo)跟蹤
0 引 言
智能交通系統(tǒng)是集計算機(jī)、信息、電子及通信等眾多高新科技手段于一體的交通控制和管理系統(tǒng)，是21世紀(jì)交通的重要發(fā)展方向。它通過對道路交通車輛的信息進(jìn)行實時檢測，利用各種智能尋優(yōu)算法及時確定出相應(yīng)的控制策略，從而對交通流進(jìn)行調(diào)節(jié)、警告和誘導(dǎo)。它的應(yīng)用大大減少了道路交通違法、交通事故的發(fā)生，有效地提高了交通效率和安全性，從而使交通設(shè)施得以充分利用，實現(xiàn)交通運輸?shù)募s式發(fā)展。而智能交通系統(tǒng)中的交通車輛信息檢測技術(shù)是實現(xiàn)動態(tài)智能交通控制的基礎(chǔ)，在現(xiàn)代交通控制管理和道路規(guī)劃中占有十分重要的地位。
早期的智能交通系統(tǒng)大量采用環(huán)形線圈車輛檢測器，其檢測精度高、成本低廉，但其工程安裝難度大，施工時要破壞路面，所能夠檢測的交通信息種類少。隨著計算機(jī)圖像處理與機(jī)器視覺理論的日趨完善、計算機(jī)硬件技術(shù)地迅猛發(fā)展、高速處理芯片和高速大容量存儲芯片的出現(xiàn)與普及，使得從圖像序列中檢測出運動信息、識別與跟蹤運動目標(biāo)成為計算機(jī)視覺領(lǐng)域中一個非常活躍的分支，從而使視頻交通車輛檢測技術(shù)得到了較快發(fā)展。利用該項技術(shù)開發(fā)的視頻交通車輛信息檢測器，其安裝和維護(hù)簡便、所采集的信息量大、信息種類多、檢測區(qū)域?qū)挘究朔松鲜霏h(huán)形線圈車輛檢測器的不足，代表了未來交通信息檢測領(lǐng)域的發(fā)展方向。
1 系統(tǒng)組成
1．1 硬件結(jié)構(gòu)
視頻交通車輛信息檢測器硬件結(jié)構(gòu)如圖1所示。它由工業(yè)CCD攝像機(jī)、PCI總線四路實時視頻采集卡、單板工業(yè)控制機(jī)（帶PCI總線接口）、DOM電子盤、I/O擴(kuò)展卡和視頻交通信息疊加模塊構(gòu)成。

工業(yè)CCD攝像機(jī)的視頻信號通過視頻采集卡實時采集和數(shù)字化形成連續(xù)的數(shù)字圖像序列。單板工業(yè)控制機(jī)經(jīng)過對連續(xù)數(shù)字圖像序列的預(yù)處理、特征提取，在圖像序列中進(jìn)行特征匹配，進(jìn)而實現(xiàn)對目標(biāo)物體的搜索，并從圖像序列中獲取目標(biāo)動態(tài)信息，以達(dá)到識別和跟蹤目標(biāo)的目的。I/O擴(kuò)展卡用于向其他設(shè)備（如，交通信號機(jī)、交通違章抓拍設(shè)備）實時傳送車輛有無的觸發(fā)信號。視頻交通信息疊加模塊用于對視頻信號進(jìn)行交通信息字符疊加，經(jīng)視頻交通信息疊加后的視頻信號通過光纖傳至交通指揮中心。
1．2 軟件主要構(gòu)架及數(shù)學(xué)模型
視頻交通車輛信息檢測器的軟件主要構(gòu)架包括：觀察區(qū)域視頻獲取、觀察區(qū)域背景估計、目標(biāo)區(qū)域分割、目標(biāo)區(qū)域特征描述、目標(biāo)的確定及模式識別、目標(biāo)位置的具體描述、目標(biāo)特征空間跟蹤、交通信息計算八部分。
設(shè)k（x，y，k）為第K幀序列圖像[1]，01[ ]為目標(biāo)區(qū)域分割算子，02[ ]為目標(biāo)識別特征提取算子，03[ ]為目標(biāo)識別算子，04[ ]為目標(biāo)具體位置求取算子，05[ ]為目標(biāo)關(guān)聯(lián)、預(yù)測、跟蹤算子。
觀察區(qū)域視頻獲取和觀察區(qū)域背景估計的目的是為后面的目標(biāo)區(qū)域分割作準(zhǔn)備。
（1）目標(biāo)區(qū)域分割：通過目標(biāo)區(qū)域分割獲得目標(biāo)可能的存在區(qū)域T（x，y，k）。則有
T(x，y，k)=01[f(x，y，k)，…，f（x，y，k-1)，…,f（x，y，k-M)]． (1)
（2）目標(biāo)區(qū)域特征描述：對處理得到的可能目標(biāo)區(qū)域T（x，y，k）進(jìn)行特征描述。例如：02[ ]為幾何形狀特征提取算子、邊緣二值化圖像求取算子
S（k）=02[T（x，y，k）]， （2）
式中S（k）為識別特征向量。識別特征有許多種，如，統(tǒng)計距特征、幾何形狀特征等，還可以是歸一化的點陣邊緣二值圖像，在實際系統(tǒng)中，識別特征向量表示為
S（k）=[P（k），Q（k），D（k）]， （3）
式中P（k）為目標(biāo)的重心位置；Q（k）為目標(biāo)區(qū)域T（x，y，k）包圍矩形的參數(shù)；D（k）是歸一化為64×64的邊緣二值圖像。
（3）目標(biāo)的確定及模式識別：目標(biāo)確定是通過對相鄰幾幀的S（k）分量P（k）和Q（k）進(jìn)行匹配，從而確認(rèn)待識目標(biāo)的過程；目標(biāo)模式識別算子03[ ]是在識別特征向量空間的運算，其具體的形式取決于具體的識別特征向量S（k），這實際上也是一個特征空間聚類的問題。將03[ ]選為神經(jīng)元網(wǎng)絡(luò)識別算子，通過03[ ]對S（k）的分量D（k）識別，判定區(qū)域T（x，y，k）是否為目標(biāo)，該目標(biāo)為哪一種類型（既車型分類）。
（4）目標(biāo)具體位置的描述：目標(biāo)具體位置指假定路面為z=0平面的三維坐標(biāo)系中，目標(biāo)的若干特殊點在該坐標(biāo)系下的具體位置（XT，YT，0），它通過目標(biāo)具體位置檢測算子04[ ]計算得到。在實際系統(tǒng)中04[ ]選為利用針孔模型求取目標(biāo)區(qū)域T（x，y，k）包圍矩形的4個端點具體位置的算子（這需要預(yù)先進(jìn)行攝相機(jī)標(biāo)定），則有
（XT，YT，0）=04[Q（k）]． （4）
（5）目標(biāo)特征空間跟蹤：使用05[ ]來對目標(biāo)的特征進(jìn)行關(guān)聯(lián)、預(yù)測和跟蹤，通過以前的目標(biāo)具體位置數(shù)據(jù)，對下一幀圖像中目標(biāo)所在位置預(yù)測后，利用該具體位置數(shù)據(jù)和其他特征與下一幀圖像中實際目標(biāo)位置和其他特征進(jìn)行關(guān)聯(lián)，從而實現(xiàn)空間跟蹤。
最后，進(jìn)行交通信息計算。所計算的交通信息包括：交通流量、空間平均車速、時間平均車速、交通密度、空間占有率、時間占有率、平均車頭空距、平均車頭時距等。
實踐表明：對算子01[ ]，02[ ]，03[ ]，04[ ]，05[ ]的具體形式和計算方法的選取是決定視頻交通車輛信息檢測器性能的關(guān)鍵，其順序圖如圖2所示。

1．3 背景估計與目標(biāo)的分割、識別
對數(shù)字圖像中的目標(biāo)區(qū)域進(jìn)行分割，首先，要進(jìn)行背景估計。采用長時間邊緣圖像背景估計方法，即在每單位時段抽取一幀圖像，利用柯西邊緣算子對此圖像進(jìn)行邊緣檢測，最后，利用該邊緣圖像和前面一些時刻所對應(yīng)的單位時段邊緣圖像進(jìn)行背景估計。背景估計公式為

式中i=n-M到n-1；B（x，y，n）為第n時段邊緣圖像的背景估計；F（x，y，i）為第i時段邊緣圖像；W（i）為第i時段邊緣圖像的估計系數(shù)。
在實際應(yīng)用中，取單位時段為30s，M取值為7，W（n）=W（n-1）=5，W（n-2）=W（n-3)=W（n-4)=W（n-5）=4，W（n-6)=W（n-7）=3，Wa=32。
背景估計圖像得到后，就可以利用幀差法將當(dāng)前圖像的邊緣圖與背景估計圖像做差，再進(jìn)行二值化獲得邊緣幀差二值圖。對該邊緣幀差二值圖再進(jìn)行膨脹、腐蝕、陰影濾除等一系列計算后，才可以進(jìn)入目標(biāo)分割階段。
采用4連通區(qū)域標(biāo)記方法對連通區(qū)域進(jìn)行檢測，從而分割出目標(biāo)。在進(jìn)行連通區(qū)域檢測的過程中，記錄下每個目標(biāo)區(qū)域包圍矩形的4個端點坐標(biāo)。對于面積較小的目標(biāo)區(qū)域包圍矩形予以刪除。既認(rèn)為是行人等非交通車輛目標(biāo)干擾。
在目標(biāo)識別方面，采用了神經(jīng)元網(wǎng)絡(luò)識別方法。首先，對預(yù)先建立的樣本庫中的邊緣二值圖像進(jìn)行歸一化（樣本庫中不但有機(jī)動車輛圖像，還有非機(jī)動車、行人等圖像），歸一化后的圖像寬高均為64像素，然后，將這些圖像以矢量形式送入輸入節(jié)點為4096個、4層的MLP神經(jīng)元網(wǎng)絡(luò)利用BP算法進(jìn)行訓(xùn)練，該網(wǎng)絡(luò)只有4個輸出節(jié)點，即將樣本庫的歸一化邊緣二值圖像分為四類：小型車、中型車、大型車、拒識。
由于使用上述訓(xùn)練后的神經(jīng)元網(wǎng)絡(luò)進(jìn)行目標(biāo)識別計算量較大，不可能每幀都對目標(biāo)區(qū)域進(jìn)行識別，因此，在目標(biāo)識別前還要進(jìn)行目標(biāo)確定的工作。所謂目標(biāo)確定，指在獲得特征向量S（k）分量P（k），Q（k）的基礎(chǔ)上，對目標(biāo)進(jìn)行簡單的二維平面跟蹤，通過相鄰幾幀的P（k），Q（k）歐式距離匹配來確定目標(biāo)。這種簡單的匹配實際上就是利用2個假設(shè)：即同一個目標(biāo)相鄰幾幀內(nèi)目標(biāo)重心變化不大；同一個目標(biāo)在相鄰幾幀內(nèi)目標(biāo)區(qū)域包圍矩形的4個端點及區(qū)域面積變化不大。如果通過目標(biāo)分割得到的目標(biāo)區(qū)域在鄰近時間內(nèi)連續(xù)多次滿足上述2個假設(shè)，則認(rèn)為該目標(biāo)是可靠的，這樣，便可以將該區(qū)域確認(rèn)為待識目標(biāo)再進(jìn)行目標(biāo)識別。識別完成后，若網(wǎng)絡(luò)不為拒識，則將二維平面目標(biāo)跟蹤鏈中該目標(biāo)的可信度屬性置為最高級別（置為最高級別可信度的目標(biāo)將不再進(jìn)行神經(jīng)元網(wǎng)絡(luò)目標(biāo)識別），同時，車輛計數(shù)值加一。
1．4 攝像機(jī)標(biāo)定和目標(biāo)跟蹤
由于所采集的視頻圖像為二維圖像，因此，上述目標(biāo)分割、確定和目標(biāo)識別，均為二維運動估計的內(nèi)容。由于實際應(yīng)用中攝像機(jī)安裝固定且水平方向與地面平行，完全可以通過針孔模型攝像機(jī)標(biāo)定方法，以地面為z=0的平面，再利用給定的一組三維空間點坐標(biāo)和這些點在圖像中對應(yīng)的二維坐標(biāo)，求解線性方程組，計算透視投影矩陣中的各個元素，從而從二維圖像序列中恢復(fù)出所跟蹤目標(biāo)的三維信息。這樣跟蹤目標(biāo)的一個重要特征，即運動速度也可以很容易計算出來。
本文采用機(jī)器視覺中的針孔模型，利用標(biāo)定后求解得到的透視投影變換矩陣中的參數(shù)以及預(yù)先測得的攝像機(jī)鏡頭安裝的水平傾角和垂直傾角，就可以計算出數(shù)字圖像中目標(biāo)包圍矩形的4個端點對應(yīng)以路面為Z=0的三維坐標(biāo)系中的坐標(biāo)。這樣，就可以檢測出交通車輛的實際位置和行駛速度。然后，再利用交通車輛的實際位置和行駛速度等信息進(jìn)行目標(biāo)特征空間跟蹤。
目標(biāo)特征空間跟蹤采用基于數(shù)據(jù)關(guān)聯(lián)、點跡預(yù)測的跟蹤方法。其中，數(shù)據(jù)關(guān)聯(lián)采用最近鄰數(shù)據(jù)關(guān)聯(lián)法（NNDA）。
數(shù)據(jù)關(guān)聯(lián)中采用的特征不僅包括目標(biāo)實際位置和行駛速度這樣的信息，還包括數(shù)字圖像中目標(biāo)重心、目標(biāo)面積等二維信息。
點跡預(yù)測方面考慮到在實際應(yīng)用中當(dāng)噪聲統(tǒng)計特性獲取不準(zhǔn)或目標(biāo)出現(xiàn)隨機(jī)時卡爾曼預(yù)測器性能會迅速下降，甚至丟失目標(biāo)，因此，沒有采用卡爾曼預(yù)測器而采用了比較穩(wěn)定、計算量小，且易于實現(xiàn)α-β-γ預(yù)測器。
另外，定義了目標(biāo)的6種狀態(tài)[4]，它們是目標(biāo)產(chǎn)生、目標(biāo)被正常跟蹤、目標(biāo)合并、目標(biāo)分裂、目標(biāo)暫時消失，目標(biāo)真正消失。其中，目標(biāo)合并、目標(biāo)分裂、目標(biāo)暫時消失是為了解決目標(biāo)遮擋問題而引入的。
（1）目標(biāo)合并：當(dāng)一個被正常跟蹤的目標(biāo)在觀察區(qū)域內(nèi)突然丟失，并且，此目標(biāo)占據(jù)的空間被另一較大目標(biāo)覆蓋，則將目標(biāo)鏈中此目標(biāo)的合并分裂屬性加一，同時，將此目標(biāo)置為目標(biāo)暫時消失狀態(tài)。下一幀此目標(biāo)若仍無法檢出，則將此目標(biāo)合并分裂屬性繼續(xù)加一，當(dāng)此目標(biāo)合并分裂屬性超過一定閥值且其運動速度與較大目標(biāo)的運動速度相近時，則將此目標(biāo)與較大目標(biāo)合并形成一個新的目標(biāo)，同時，繼承原有目標(biāo)的動態(tài)特征，這個新目標(biāo)被置為目標(biāo)合并狀態(tài)。當(dāng)此目標(biāo)合并分裂屬性沒有達(dá)到一定閥值時又被檢出，則要將此目標(biāo)從目標(biāo)暫時消失狀態(tài)置回目標(biāo)被正常跟蹤狀態(tài)。
（2）目標(biāo)分裂：當(dāng)一個處于目標(biāo)合并狀態(tài)的目標(biāo)突然丟失，并且，此目標(biāo)占據(jù)的空間被一些較小的目標(biāo)共同占據(jù)，則將目標(biāo)鏈中此目標(biāo)的合并分裂屬性減一，下一幀此目標(biāo)若仍無法檢出，則將此目標(biāo)合并分裂屬性繼續(xù)減一，當(dāng)此目標(biāo)合并分裂屬性低于一定閥值且其運動速度與其分裂出來的那些較小目標(biāo)的運動速度相近時，則對這些小目標(biāo)依次建立新的目標(biāo)鏈且將它們的狀態(tài)置為目標(biāo)產(chǎn)生狀態(tài)，而較大的前景目標(biāo)則置為目標(biāo)真正消失狀態(tài)，從而便于后續(xù)的目標(biāo)鏈清理和刪除操作。當(dāng)此目標(biāo)合并分裂屬性沒有低于一定閥值時，仍然要將這些較小的目標(biāo)合并為一個較大的前景目標(biāo)，并將這個較大的前景目標(biāo)置為目標(biāo)分裂狀態(tài)。
2 實驗結(jié)果
檢測器的某日實際測試數(shù)據(jù)如表1所示。