基于車道線寬度的邊緣散點(diǎn)識(shí)別道線算法
為了解決這兩個(gè)問(wèn)題，需要將攝像頭采集的原始圖像中的ROI區(qū)域轉(zhuǎn)化為鳥瞰圖，然后通過(guò)基于車道線寬度的特征點(diǎn)篩選方法提取車道線的邊緣點(diǎn)，最后得到車道線的邊緣點(diǎn)。
1、車道線特征點(diǎn)的選擇與提取
該方法利用了車道寬度基本相同的特點(diǎn)，一般的鳥瞰圖中寬度為0.25米的車道線寬度為4~5個(gè)像素，且車道線內(nèi)部是一個(gè)連通的區(qū)域。將相機(jī)采集的圖像轉(zhuǎn)化為鳥瞰圖后，采用Canny算法進(jìn)行處理，初步得到包含邊緣點(diǎn)和噪聲點(diǎn)的二值圖像。然后，通過(guò)逐行掃描的方法對(duì)二值圖像進(jìn)行濾波，提取屬于車道線的邊緣點(diǎn)，丟棄其余點(diǎn)，以減少干擾噪聲點(diǎn)對(duì)曲線擬合的影響。
車道線特征點(diǎn)提取的詳細(xì)步驟如下：
步驟1：從圖像底部開始逐行掃描二值圖像。如果檢測(cè)到某行像素點(diǎn)的灰度值全為0，則繼續(xù)掃描上一行像素點(diǎn)，否則轉(zhuǎn)步驟2。
步驟2：記錄第一個(gè)灰度值為255的像素點(diǎn)的列號(hào)n，并繼續(xù)掃描下一個(gè)像素點(diǎn)。若第n列第4或第5個(gè)像素點(diǎn)的灰度值仍為255，則記錄該點(diǎn)的列號(hào)m，并執(zhí)行步驟3；否則，將第一個(gè)灰度值為255的像素點(diǎn)視為干擾點(diǎn)，將其值設(shè)置為零然后繼續(xù)掃描，然后重復(fù)步驟2。
步驟3：繼續(xù)檢測(cè)上一行n列和m列像素點(diǎn)的灰度值。若灰度值為255，則重復(fù)步驟3；否則，檢測(cè)相鄰列像素點(diǎn)的灰度值，如果為255，則重復(fù)步驟3；否則，將步驟二中距離為4或5個(gè)像素的兩個(gè)像素點(diǎn)確定為干擾點(diǎn)，并將其值設(shè)置為0。繼續(xù)步驟2，從該行的下一個(gè)像素開始掃描。
步驟4：掃描完各行各列的像素點(diǎn)后，設(shè)置同一行灰度值為255～255的兩個(gè)像素點(diǎn)之間的所有像素點(diǎn)的最終灰度值。
上述流程如圖7所示：
下圖顯示了以上這種基于車道線寬度算法逐行掃描后的車道線提取結(jié)果。
可以看到，該算法在盡可能減少干擾點(diǎn)數(shù)量的情況下提取了足夠的車道線邊緣點(diǎn)，逐行掃描方法基本上成功地從所有像素點(diǎn)中提取出屬于車道線的邊緣點(diǎn)。另外，可以看出，質(zhì)量較差的車道虛線符合本文設(shè)計(jì)的提取規(guī)則，也可以被很好的提取。
基于RANSAC的特征點(diǎn)曲線擬合
圖像預(yù)處理后，多條車道線上存在散點(diǎn)。需要對(duì)這些散點(diǎn)進(jìn)行擬合，找到一條可以包含足夠多散點(diǎn)的曲線，即一條可以包含足夠多散點(diǎn)的曲線。本文采用RANSAC對(duì)特征點(diǎn)進(jìn)行擬合，形成最適合車道線的曲線。有學(xué)者在研究中使用canny方法作為比較對(duì)象，得到了較差的車道線檢測(cè)結(jié)果。除了它對(duì)Canny算法缺乏改進(jìn)之外，另一個(gè)重要原因是它使用了最小二乘法而不是RANSAC。最小二乘法就是從所有的點(diǎn)中找出最合適的曲線。這種不放棄的方法會(huì)導(dǎo)致所有噪聲點(diǎn)都被考慮在內(nèi)，因此不適合與Canny算法一起使用。RANSAC是一種非確定性算法，它會(huì)在一定的概率下產(chǎn)生合理的結(jié)果，這允許更多的迭代來(lái)增加其概率。操作流程如下：
第一步：假設(shè)模型是一個(gè)三階曲線方程，隨機(jī)選取3個(gè)樣本點(diǎn)來(lái)擬合模型：
第二步：假設(shè)公差范圍為 z，找出距離擬合曲線公差范圍內(nèi)的點(diǎn)，并統(tǒng)計(jì)點(diǎn)數(shù)。
第三步：再次隨機(jī)選擇3個(gè)點(diǎn)，重復(fù)第一步到第二步的操作，直至迭代結(jié)束。
總之，每次擬合后，在公差范圍內(nèi)都有相應(yīng)的數(shù)據(jù)點(diǎn)。找出滿足設(shè)定置信度的數(shù)據(jù)點(diǎn)數(shù)量就是最終的擬合結(jié)果。本文通過(guò)設(shè)置置信度條件來(lái)確定最大迭代次數(shù)。步驟1-3的迭代次數(shù)與模型的異常值比例以及我們需要的置信度有關(guān)?？梢杂靡韵鹿奖硎荆?/span>
其中 S 是所需測(cè)試的最小數(shù)量，P是置信水平，p是內(nèi)點(diǎn)百分比，k是隨機(jī)樣本數(shù)量。具體的置信水平需要通過(guò)反復(fù)測(cè)試并綜合考慮準(zhǔn)確性和實(shí)時(shí)性來(lái)確定。
在上述算法不同場(chǎng)景下進(jìn)行了驗(yàn)證，并在原始圖像上標(biāo)注了最終的車道線，并選取了一些有代表性的截圖如下圖所示。圖(a)為正常光照區(qū)域，(b)為光照不均勻區(qū)域，(c)為大陰影區(qū)域，(d)為線條干擾區(qū)域，(e)為高亮度區(qū)域。
基于逆透視投影變換的特征點(diǎn)擬合
傳統(tǒng)算法中，通過(guò)基于RANSAC算法的貝塞爾曲線擬合算法對(duì)邊緣點(diǎn)進(jìn)行擬合，可以得到識(shí)別的車道線。然而這種RANSAC算法擬合是通過(guò)直接逐行掃描圖像，利用寬度匹配來(lái)確定哪些散點(diǎn)屬于車道線的。該方法沒(méi)有考慮攝像頭獲取的圖像中車道線可能不是垂直的情況，圖像中存在一定的角度的傾斜，所以需要逆透視變換或者距離變換，為后續(xù)車道線特征點(diǎn)的選擇和提取做好準(zhǔn)備。
為了解決以上問(wèn)題，可以利用逆透視變換算法可以將發(fā)生幾何變形的平面圖像變換為無(wú)畸變的俯視圖。目前實(shí)現(xiàn)逆透視變換的方法主要有兩種：
第一種是通過(guò)相機(jī)標(biāo)定方法獲得相機(jī)的內(nèi)參數(shù)和外參數(shù)，變換公式由內(nèi)參數(shù)矩陣和外參數(shù)矩陣根據(jù)相機(jī)的成像模型，最后通過(guò)計(jì)算得到逆透視變換后的俯視圖。該方法雖然可以校正相機(jī)的畸變，但涉及參數(shù)和變量較多，算法復(fù)雜，運(yùn)算時(shí)間長(zhǎng)。
第二種方法是推導(dǎo)透視原理的幾何關(guān)系，利用簡(jiǎn)化的逆透視變換公式進(jìn)行計(jì)算，從而得到圖像的俯視圖。這種方法適用于畸變較小的小角度相機(jī)。
考慮到現(xiàn)有相機(jī)的特點(diǎn)和實(shí)時(shí)性，從簡(jiǎn)化算法和實(shí)現(xiàn)功能的角度出發(fā)，推薦選擇對(duì)第一種逆透視變換方法進(jìn)行一定程度的簡(jiǎn)化。
由于現(xiàn)有的逆透視技術(shù)已經(jīng)比較成熟，本文不再討論其推導(dǎo)過(guò)程，整體改造如下：
其中旋轉(zhuǎn)矩陣R是3*3的矩陣，t是偏移量。從后到前，中間三個(gè)矩陣分別是相機(jī)與世界坐標(biāo)變換矩陣、投影關(guān)系矩陣和像素相平面關(guān)系矩陣。
由于智能車的車載攝像頭安裝在車輛內(nèi)部時(shí)通常是固定俯仰角和側(cè)傾角的，因此可以簡(jiǎn)化為上述類型。如果相機(jī)安裝仔細(xì)，不相對(duì)Z軸旋轉(zhuǎn)，并考慮到地平線實(shí)際上是水平的，道路所在平面取ZW=0，上式可進(jìn)一步簡(jiǎn)化如下：
其中，ZC為透視投影系數(shù)，M1為相機(jī)內(nèi)參矩陣，由相機(jī)內(nèi)參fx、fy、u0、v0確定；M2是相機(jī)的外參矩陣，其中R和T是由相機(jī)位置決定的坐標(biāo)變換矩陣。
根據(jù)上述原理，可以找到圖像平面中的點(diǎn)與世界坐標(biāo)系中的點(diǎn)的一一對(duì)應(yīng)關(guān)系，然后將其轉(zhuǎn)化為鳥瞰圖。
需要說(shuō)明的是，由于遠(yuǎn)處像素?cái)?shù)量較少，轉(zhuǎn)換為鳥瞰圖時(shí)需要進(jìn)行大量的插值和擬合計(jì)算。在遠(yuǎn)離傳感器的區(qū)域進(jìn)行鳥瞰圖的變換不僅消耗計(jì)算能力，而且無(wú)法提供清晰的車道線。因此，如果針對(duì)低速無(wú)人駕駛汽車而言，僅對(duì)ROI區(qū)域進(jìn)行變換（對(duì)于同一相機(jī)，ROI區(qū)域的像素坐標(biāo)固定），最終使車道線的兩條邊平行，使得進(jìn)一步的分析變得更加容易。逆透視投影變換得到的近距離車道線還是比較精準(zhǔn)的還原。而針對(duì)高速情況下需要考慮探測(cè)到更遠(yuǎn)距離的車道線，而視覺(jué)感知能識(shí)別到的車道線散點(diǎn)往往較少，同時(shí)考慮到計(jì)算的實(shí)時(shí)性要求也更高，因此很難做到高速情況下利用單純的逆透視投影變換還原車道線信息。
我們知道后續(xù)BEV鳥瞰圖的基礎(chǔ)算法也是這樣多個(gè)攝像頭作為圖像源投影到3D空間后進(jìn)行匹配拼接而得出全景的，可以說(shuō)這種拼接過(guò)程也就是一種簡(jiǎn)化版的三維重建。那么，如果是遠(yuǎn)距離情況下的散點(diǎn)而言，點(diǎn)數(shù)顯然不夠多，投影到3D空間中用于點(diǎn)云重建的點(diǎn)就很有限了，這就意味著很難在其空間中通過(guò)拼接重現(xiàn)真實(shí)世界場(chǎng)景中的車道線，亦或者重建的車道線質(zhì)量也無(wú)法滿足檢測(cè)要求。
當(dāng)然，有條件的感知算法供應(yīng)商為了彌補(bǔ)這樣的缺陷往往采用兩種比較典型的方法進(jìn)行：
1、大量真值系統(tǒng)注入
實(shí)際就是一種Mono 3D的真值訓(xùn)練法。提前通過(guò)激光+攝像頭的方式做數(shù)據(jù)閉環(huán)進(jìn)行全場(chǎng)景采樣，得到了真實(shí)環(huán)境下的各種車道線采樣場(chǎng)景數(shù)據(jù)，然后通過(guò)人工標(biāo)注的方式進(jìn)行場(chǎng)景標(biāo)注，這樣一套標(biāo)注值可以提前寫入到真值系統(tǒng)中。當(dāng)后續(xù)運(yùn)行對(duì)應(yīng)的感知識(shí)別算法時(shí)，只需要在進(jìn)行圖像預(yù)處理后輸入對(duì)應(yīng)的真值系統(tǒng)做圖像Match就可以很直觀的得出對(duì)應(yīng)的車道線真值了。
當(dāng)然，1中所提到的方案不是在每個(gè)算法供應(yīng)商都能采用的，其一是這樣的真值系統(tǒng)需要采集大量的環(huán)境真值數(shù)據(jù)，這需要大量的車隊(duì)來(lái)運(yùn)行采集過(guò)程。且不談是否合規(guī)的問(wèn)題，就是這樣龐大的車隊(duì)容量也不是一般公司能夠承受的。那么，此時(shí)也有一些追求性價(jià)比的算法供應(yīng)商會(huì)采用第二種方法：?jiǎn)蜼加BEV融合的算法策略。
2、單V加BEV的融合策略
其實(shí)，簡(jiǎn)單點(diǎn)說(shuō)就是視覺(jué)感知的大融合技術(shù)。即考慮到大小眼攝像頭的小眼睛能識(shí)別到更遠(yuǎn)距離的車道信息，大眼睛能識(shí)別到更寬的車道信息，先各自分別跑各自的神經(jīng)網(wǎng)絡(luò)算法，得到對(duì)應(yīng)的環(huán)境感知輸出。其次，該大小眼仍然參與整車全視角下的BEV構(gòu)建，通過(guò)上述所提到的逆透視投影變換得到對(duì)應(yīng)的BEV鳥瞰圖。最后，將前兩者的感知模塊通過(guò)變換到同一個(gè)坐標(biāo)系下進(jìn)行融合生成對(duì)應(yīng)的三維感知結(jié)果將更加準(zhǔn)確的還原實(shí)際場(chǎng)景。
這里需要注意的是，考慮到計(jì)算資源和效率，由于智能汽車更關(guān)注自車道前方的車道線信息，因此，對(duì)于單V識(shí)別，考慮前視大小眼就足夠彌補(bǔ)BEV在遠(yuǎn)距離感知中的缺陷了。當(dāng)然不差錢的Tier1或主機(jī)廠，如果選擇了較大算力平臺(tái)的域控，也可以分別將側(cè)視和后視進(jìn)行單獨(dú)深度學(xué)習(xí)生成對(duì)應(yīng)的感知結(jié)果。
總結(jié)
本文接續(xù)前文介紹了利用車道寬度這一顯著特征來(lái)提取滿足該特征的邊緣點(diǎn)，最終利用RANSAC特征點(diǎn)擬合的方法得到識(shí)別的車道線。多個(gè)代表性場(chǎng)景的實(shí)驗(yàn)結(jié)果表明，該方法對(duì)復(fù)雜光照條件具有較強(qiáng)的適應(yīng)性，能夠在高反光、暗影、照度不均等區(qū)域識(shí)別視場(chǎng)內(nèi)的路徑像素。因此，在正常道路和特殊環(huán)境下基本不會(huì)出現(xiàn)識(shí)別失敗的情況。
轉(zhuǎn)自焉知汽車
