基于車(chē)道(dào)線寬度的(de)邊緣散點識别道(dào)線算(su££àn)法

      為(wφ₽↔èi)了(le)解決這(zhè)兩個(g"₽₩è)問(wèn)題，需要(yào)将攝像頭采集的(de)原始圖像中的(♦&®∞de)ROI區(qū)域轉化(huà)為(wèi)鳥瞰圖，然後通(tōng)過基于車(chē✘♣δπ)道(dào)線寬度的(de)特征點篩選方法提取車(chē®★σ)道(dào)線的(de)邊緣點，最後得(de)到(dào) •←'車(chē)道(dào)線的(de)邊緣點。

      1、車(chē)道(dào)線特征點的(de)選擇與提取 >

      該方法利用(yòng)了(le)車(chē)Ω®☆道(dào)寬度基本相(xiàng)同的(de)特點，一(yī)般的(de)鳥瞰≤ε✘♠圖中寬度為(wèi)0.25米的(de)車(chē)道(dào)線寬度為(wèi)4~5個(≠÷₩πgè)像素，且車(chē)道(dào)線內(nèi)部是(s‌‌hì)一(yī)個(gè)連通(tōng)的(de)區(qū)域。将相(xiàng)<™機(jī)采集的(de)圖像轉化(huà)為(wèi)★γ鳥瞰圖後，采用(yòng)Canny算(&‌suàn)法進行(xíng)處理(lǐ)，初步得(de)到(dào)包含邊緣點和(hé)噪≥®聲點的(de)二值圖像。然後，通(tōng)過逐行(xíng)掃描的(de)方→ε∏§法對(duì)二值圖像進行(xíng)濾波，提取屬于車(chē)道(dào)線的(de)邊緣點>₽↕，丢棄其餘點，以減少(shǎo)幹擾噪聲點對(§↑π♣duì)曲線拟合的(de)影(yǐng)響。

     σ♥ 車(chē)道(dào)線特征點提取的(de)詳細步驟如(rú)下(xià)：Ωλδ

      步驟1：從(cóng)圖像底部開(kāi)始逐行(xíng)掃描二值圖像。如(rú)果檢測到(dào)♠÷♠某行(xíng)像素點的(de)灰度值全為(wèi)0，≠↔則繼續掃描上(shàng)一(yī)行(xíng)像素點，否則轉步驟2→‍←©。

      步驟2：記錄第一(yī)個(gè)灰度值為(wèi)255的(de)像素點的(de)列号n，并✔₹繼續掃描下(xià)一(yī)個(gè)像素點。若第©♦₹n列第4或第5個(gè)像素點的(de)灰度值仍為(wè ¶★πi)255，則記錄該點的(de)列号m，并執行(xíng)步驟≠÷3；否則，将第一(yī)個(gè)灰度值為(wèi)255的(de)•₹像素點視(shì)為(wèi)幹擾點，将其值設置為(wèi)零然後繼續掃描，然後重複步驟2。

      步驟3±>：繼續檢測上(shàng)一(yī)行(xíng)n列和(hé)m列像素點的(de)灰度值。✘✔若灰度值為(wèi)255，則重複步驟3；否則，檢測相(xiàng)鄰列像素點的(de)灰度值γ✔，如(rú)果為(wèi)255，則重複步驟3；否則，将步驟二中距離 Ω≠∞(lí)為(wèi)4或5個(gè)像素‌≈←的(de)兩個(gè)像素點确定為(wèi)幹擾點，并将其值設置為(wèi)0。繼續步驟2，從 ®(cóng)該行(xíng)的(de)下(xià)一(yī)個(gè)像素開€←↕(kāi)始掃描。

      步驟4：掃描完各行(xíng)各列的(de)像素點"∏≤"後，設置同一(yī)行(xíng)灰度值為(wèi)255～255的(de)兩個(gè φ)像素點之間(jiān)的(de)所有(yǒ∑δ u)像素點的(de)最終灰度值。

      上(shàng)述流程如(rú)圖7所示¥≠Ω：

      下(xià)圖顯示了(le)以上(shàng)•↑這(zhè)種基于車(chē)道(dào)線寬≤∏度算(suàn)法逐行(xíng)掃描後的(de)車(chē)道(d♥ ào)線提取結果。

      可(kě)以看(k✘<♥βàn)到(dào)，該算(suàn)法在盡可(kě)能(néng)減少(shǎo)幹擾點數(shεφù)量的(de)情況下(xià)提取了(le)足夠的(de)車(chē)道(dào¥₩γ)線邊緣點，逐行(xíng)掃描方法基本上(shàng)成功地(dì)從(€₽₹±cóng)所有(yǒu)像素點中提取出屬于車₽✘♠≤(chē)道(dào)線的(de)邊緣點。另外(wài)，可(kě)以看(kàn)出，質£<∞量較差的(de)車(chē)道(dào)虛線符合本文(wé✘σn)設計(jì)的(de)提取規則，也(yě)可(kě)以被很(hěn)好(hǎo)的(d₹δ✘e)提取。

基于RANSAC的(de)特征點曲線拟合

      圖像預處理(l♥δΩǐ)後，多(duō)條車(chē)道(dào)線上(shàng)存在散點。需要(yào≈β∑✔)對(duì)這(zhè)些(xiē)散點進行(xí✔≠ng)拟合，找到(dào)一(yī)條可(kě) §以包含足夠多(duō)散點的(de)曲線，即一(yī)條可(kě)以包含足π¶¥夠多(duō)散點的(de)曲線。本文(wén)采用(☆δ£yòng)RANSAC對(duì)特征點進行(xíng)拟合，形成最适合車(chē)道(dào)≠"<線的(de)曲線。有(yǒu)學者在研究中使用(yòng)canny方法作(★•↓>zuò)為(wèi)比較對(duì)象，得(de)到(dào)了(le)較差的($♦×Ωde)車(chē)道(dào)線檢測結果。除了(le)它對(duì)Canny¥÷£∞算(suàn)法缺乏改進之外(wài)，另一(yī)個(gè)重要(yào)原因是(↑≠‌↑shì)它使用(yòng)了(le)最小(xiǎo)二乘法而不(bùΩ §)是(shì)RANSAC。最小(xiǎo)二乘法就(jiù)是(shì)從(cóng₹•  )所有(yǒu)的(de)點中找出最合适的(de)曲線。這(zhè)種φ∞不(bù)放(fàng)棄的(de)方法會(h∑≈•✘uì)導緻所有(yǒu)噪聲點都(dōu)被考慮在內(nèi)，♥₽★∏因此不(bù)适合與Canny算(suàn) ₩§↓法一(yī)起使用(yòng)。RANSAC是(shì)$ ±α一(yī)種非确定性算(suàn)法，它會(huì)在一(yī)定的(d"↕e)概率下(xià)産生(shēng)合理(lǐ)的(de)結果σ ≤&，這(zhè)允許更多(duō)的(de)叠代來(lái)增加其概率。操作(z"♦®γuò)流程如(rú)下(xià)：

      第一(yī)步：假設模型σ  σ是(shì)一(yī)個(gè)三階曲線方程，随機(jī)選取3個(gè)樣本σ©Ω♠點來(lái)拟合模型：

       ÷Ω♠®;

      第二步：假設公差範圍為(wèi) z，找​∏↔出距離(lí)拟合曲線公差範圍內(nèi)©£的(de)點，并統計(jì)點數(shù)。

      第三步∞∏Ω：再次随機(jī)選擇3個(gè)點，重複第一(yī)步到÷£ (dào)第二步的(de)操作(zuò)，直至叠代結束。

      總之，每次拟合後，在公差範圍內(nèi)都→♥‌(dōu)有(yǒu)相(xiàng)應的(de)數(shùγ₽ >)據點。找出滿足設定置信度的(de)數(₹♦↑ shù)據點數(shù)量就(jiù)是(shì)最終的(de)拟合結果γ∞。本文(wén)通(tōng)過設置置信度條件(jiàn)來(lái)确♠$₩定最大(dà)叠代次數(shù)。步驟1-3的(de)叠代次數(shù)←Ω₩與模型的(de)異常值比例以及我們需要(yào)的(de)置信度有(yǒu₽♣✔↑)關。可(kě)以用(yòng)以下(xià)公式表示：

       

      其中 S 是(shì)所需測試的(de£♣)最小(xiǎo)數(shù)量，P是(shì≥↑)置信水(shuǐ)平，p是(shì)內(nèi)點百分(fēn)比，k是(shì)随機(jī)樣本數★ ≤(shù)量。具體(tǐ)的(de)置信水(shuǐ)平需要(yào)通(tōng)過反複©↕測試并綜合考慮準确性和(hé)實時(shí)性來(lái)确定。

      在上(shàng)述算(suàn)法不(bù)同場₩™∞π(chǎng)景下(xià)進行(xíng)了(le)驗證，并在原≈₽始圖像上(shàng)标注了(le)最終的(d↑•±±e)車(chē)道(dào)線，并選取了(le)一£σλ(yī)些(xiē)有(yǒu)代表性的(de)截圖如(rú)下(xià)圖所示。圖≥☆≠(a)為(wèi)正常光(guāng)照(zhào)區(qū)域，(¥∞εb)為(wèi)光(guāng)照(zhào)不(bù)均勻區(qū)域，(c)為(w♣≠★★èi)大(dà)陰影(yǐng)區(qū)域，(d)為$↓₹(wèi)線條幹擾區(qū)域，(e)為(wèiγ↕γβ)高(gāo)亮(liàng)度區(qū)域。

基于逆透視(shì)投影(yǐng)變換的(de)特征點拟合

      傳統算(suàn)法中，通(tōng)過✔§×✔基于RANSAC算(suàn)法的(de)貝塞爾曲線€©拟合算(suàn)法對(duì)邊緣點進行(xíng)拟合，可(kě)以得(de)到(d↑€>↔ào)識别的(de)車(chē)道(dào)線。然而這(zhè)種RANSAC算(≤♣ suàn)法拟合是(shì)通(tōng)₩→過直接逐行(xíng)掃描圖像，利用(yòng)寬度匹配來(lái)确定 δε∑哪些(xiē)散點屬于車(chē)道(dào)線的(d•"©©e)。該方法沒有(yǒu)考慮攝像頭獲取的(de)圖像中車(><$chē)道(dào)線可(kě)能(néng)不(bù)是(shì)垂直的(de)情況，圖像中存在∏•¶一(yī)定的(de)角度的(de)傾斜，所以需要(yào)逆"&‍透視(shì)變換或者距離(lí)變換，為(wèi)後續車(chē)道(£↕↕≠dào)線特征點的(de)選擇和(hé)提取做(zuò)好(hǎo)準'♦€∞備。

      為(wèi)了(le)解決以上÷‍(shàng)問(wèn)題，可(kě)以利用(yòng)逆透視(shì)變換算(suàn)法可£'÷(kě)以将發生(shēng)幾何變形的(de)平面圖像變換為(wèi)無畸變的(de)俯視(shì)π±₹圖。目前實現(xiàn)逆透視(shì)變換的(de)方法主要(↕δ‍yào)有(yǒu)兩種：

      第一(£₩→σyī)種是(shì)通(tōng)過相(xiàng)機(jī)标定方法獲<♦±>得(de)相(xiàng)機(jī)的(dα®e)內(nèi)參數(shù)和(hé)外(wài)參數(shù)，變換公式由內(↓ ©nèi)參數(shù)矩陣和(hé)外(wài)參數(shù)矩陣根據相(xiàng)↑©↔機(jī)的(de)成像模型，最後通(tōn↔₽↑g)過計(jì)算(suàn)得(de)到(dào)逆透視(shì)變換後的(de)俯視φ♠(shì)圖。該方法雖然可(kě)以校(xiào)正相(xiàng)機(jī)≥♥∞≥的(de)畸變，但(dàn)涉及參數(shù)和(hé)變量較多(du★→∑δō)，算(suàn)法複雜(zá)，運算(suàn)時(sh‌✔ ®í)間(jiān)長(cháng)。

      第二種方法是(shì)推導透視(s¥γ$hì)原理(lǐ)的(de)幾何關系，利用(yòng)簡化(huà)的(de)逆透視(shì)變<‌→£換公式進行(xíng)計(jì)算(suàn)，從(cóng)而得(de)到( •> dào)圖像的(de)俯視(shì)圖。這(zhè©↓∏)種方法适用(yòng)于畸變較小(xiǎo)的(de)小(xiǎo)角度相(xiàng)機<≥★(jī)。

      考慮到(dào)現(xiàn)有(yǒu)相(x∞₽αiàng)機(jī)的(de)特點和(hé)實時∑$(shí)性，從(cóng)簡化(huà)算(su<πàn)法和(hé)實現(xiàn)功能(néng)的(de)角度出發，‍≥推薦選擇對(duì)第一(yī)種逆透視(shì)變換方法進行(xíng)一(yī)定程度的(de∞¶↑©)簡化(huà)。

      由于現(xiàn)有(yǒu)的(de±<)逆透視(shì)技(jì)術(shù)已經比較成熟，本文(wénαλ<♦)不(bù)再討(tǎo)論其推導過程，整體(tǐ'♠♠↓)改造如(rú)下(xià)：

      其中旋轉矩陣R是(shì)3*3&♠≠‌的(de)矩陣，t是(shì)偏移量。從(cón→<>g)後到(dào)前，中間(jiān)三個(gè)矩陣分(fēn)别是(shì)相(x∏ ‍iàng)機(jī)與世界坐(zuò)标變換矩陣、投影(yǐng)關系矩陣和(hé)像素相↕β ®(xiàng)平面關系矩陣。

      由于智能(néng)車(chē)的(de)車(chē)載¥‍ ←攝像頭安裝在車(chē)輛(liàng)內∏∑(nèi)部時(shí)通(tōng)常是(shì)固定俯仰角和(hé)側傾角的(de)，因δ 此可(kě)以簡化(huà)為(wèi)上(shàng)述類型。如(rú)果相(x↑Ωiàng)機(jī)安裝仔細，不(bù)相(xiàng)對(duì)Z軸旋轉，并考慮&↕₽到(dào)地(dì)平線實際上(shàng)是(shì)水(shuǐ)平的(de)，道(dào)   路(lù)所在平面取ZW=0，上(shàng)式可(kě)進一(yī)步簡化(huà)如(rú)≠ ∞≈下(xià)：

      其中，ZC為(wèi)透視®₽±&(shì)投影(yǐng)系數(shù)，M1為(wèi)相(xiàng)機(&$ ©jī)內(nèi)參矩陣，由相(xiàng)機(jī)內(nèi)參f₽∑​πx、fy、u0、v0确定；M2是(shì)相(xiàng)機(jī)的(de)外(wài$₩£)參矩陣，其中R和(hé)T是(shì)由相(xiàng)機(jī)位置決定的₹λ•σ(de)坐(zuò)标變換矩陣。

      根據上(shàng)述原理(lǐ)，可(​α kě)以找到(dào)圖像平面中的(de)點與世界坐(zuò)标系中±‌↓的(de)點的(de)一(yī)一(yī)對(duì)應關系₩↓ק，然後将其轉化(huà)為(wèi)鳥瞰圖。

      需要(yào)• ₩說(shuō)明(míng)的(de)是(shì)，由于遠(yuǎn)處像素數(sh•'ù)量較少(shǎo)，轉換為(wèi)鳥瞰圖時(shí)需要(±" yào)進行(xíng)大(dà)量的(de)插值和(hé)拟合計(☆←↓σjì)算(suàn)。在遠(yuǎn)離(lí)傳感器(qì)的(de)區(qū)域進行☆>σ≈(xíng)鳥瞰圖的(de)變換不(bù)僅消耗₩&計(jì)算(suàn)能(néng)力，而且無法提供清晰的(de)車(chē)道φ↕(dào)線。因此，如(rú)果針對(duì)低(dī)速無人(rén↓Ω$)駕駛汽車(chē)而言，僅對(duì)ROI區(qū)域進行(xíng)變換（對(d≤•uì)于同一(yī)相(xiàng)機(jī& )，ROI區(qū)域的(de)像素坐(zuò)标固定），最終使車♥÷>λ(chē)道(dào)線的(de)兩條邊平行(xíng)，∞∏§₩使得(de)進一(yī)步的(de)分(fēn)析變得(de)更加容易。逆透視(shì)投影♦λ"(yǐng)變換得(de)到(dào)的(de)近(jìn)距離(lí)車(chē←£)道(dào)線還(hái)是(shì)比較精準的(de)還(hái)原。而針對‌'‌Ω(duì)高(gāo)速情況下(xià)需要(yào)考慮探測到(dào)更∞Ω遠(yuǎn)距離(lí)的(de)車(chē)道(dào)線，而視(shì)覺感知(zhī)能(​α•₽néng)識别到(dào)的(de)車(chē)道(dào)線散點往往較₩≤π少(shǎo)，同時(shí)考慮到(dào)計(jì)算(suàn)的(de)實時(shí)性≈÷要(yào)求也(yě)更高(gāo)，因此很(hěn)難做(z γuò)到(dào)高(gāo)速情況下(xiàε₽✘)利用(yòng)單純的(de)逆透視(shì)投影(yǐng)變換還(hái)原車↕₩(chē)道(dào)線信息。

      我們知(zhī)道(dào)後續BEV鳥瞰圖的(de)∏♦β¶基礎算(suàn)法也(yě)是(shì)這(zhè)樣多(duō)個(g★π£è)攝像頭作(zuò)為(wèi)圖像源投影(yǐng)到(dào)3✘'D空(kōng)間(jiān)後進行(xíng)匹配拼接而得(de)出全βλ→✔景的(de)，可(kě)以說(shuō)這(zhè)種拼接過程也(yě)就(j∞±≤iù)是(shì)一(yī)種簡化(huà)版的(d£♠®e)三維重建。那(nà)麽，如(rú)果是(shì)遠(yuǎn)距離(lí)情況★×下(xià)的(de)散點而言，點數(shù)顯然不(bù)夠多(duō)，投影(yǐn♣£g)到(dào)3D空(kōng)間(jiān)中用(yònλ‌₩£g)于點雲重建的(de)點就(jiù)很(hěn)有(yǒu)限了(le)，✘€這(zhè)就(jiù)意味著(zhe)很(hěn)難在其¥★空(kōng)間(jiān)中通(tōng)過拼接重現(xiàn)真實世界場(chǎn‍‌>∞g)景中的(de)車(chē)道(dào)線，亦或者•​♣↕重建的(de)車(chē)道(dào)線質量也(yě)無法滿足檢測要(yào)§±‍求。

      當然，有(yǒu)條件(jiàn)的(de±γ')感知(zhī)算(suàn)法供應商為(wèi)了(le)•φ彌補這(zhè)樣的(de)缺陷往往采用(yòng)'>兩種比較典型的(de)方法進行(xíng)：

1、大(dà)量真值系統注入

      實際就(jiù)是(shì)一(yī)種Mon>•≤o 3D的(de)真值訓練法。提前通(tōng)過¶₩↕激光(guāng)+攝像頭的(de)方式做(zuò)數(shù)據閉環進αγ 行(xíng)全場(chǎng)景采樣，得(de"♦​)到(dào)了(le)真實環境下(xià)的(de)各種車(chē)道(dào)線采樣場(chǎ>λ♠ng)景數(shù)據，然後通(tōng)過人(rén)β&↑®工(gōng)标注的(de)方式進行(xíng)場(☆πchǎng)景标注，這(zhè)樣一(yī)套标注值可(kě)以提前寫入到(dào)真值系統中。當​ε後續運行(xíng)對(duì)應的(de)感知 >"(zhī)識别算(suàn)法時(shí)，隻需要(yào)在進行(xí‌×ng)圖像預處理(lǐ)後輸入對(duì)應的(de)真值系統做(zuò)✔<圖像Match就(jiù)可(kě)以很(λ¥€ hěn)直觀的(de)得(de)出對(duì)應的(d€↕e)車(chē)道(dào)線真值了(le)。

      當然，1中所提到(dào)的(de)方案不$$λ(bù)是(shì)在每個(gè)算(suàn)法供應商都(dōu)能(néng)采用(yòn" g)的(de)，其一(yī)是(shì)這(zhè)樣的✘λ×♥(de)真值系統需要(yào)采集大(dà)量的(de♦₩™♣)環境真值數(shù)據，這(zhè)需要(yào)大(dà)量的(de)車(chē•£)隊來(lái)運行(xíng)采集過程。且不↑Ω&(bù)談是(shì)否合規的(de)問(wèn)題，就(jiù)是(s↔>​≠hì)這(zhè)樣龐大(dà)的(de)車(chē)≤≤€♥隊容量也(yě)不(bù)是(shì)一(yī)般公司能(néng)夠承受的(d ε&★e)。那(nà)麽，此時(shí)也(yě)有(yǒu)一($ ♠∑yī)些(xiē)追求性價比的(de)算(suàn≠™)法供應商會(huì)采用(yòng)第二種方法：單V加BEV融合的(de)算(suàn)法策略÷→ 。

2、單V加BEV的(de)融合策略

     γ• 其實，簡單點說(shuō)就(jiù)是(shì)視(shì)覺感 ÷知(zhī)的(de)大(dà)融合技(jì)術(shù)。即考慮到(dào)大(dà)小(♥©£♦xiǎo)眼攝像頭的(de)小(xiǎo)眼睛能(néng)識别到(dào∞‍)更遠(yuǎn)距離(lí)的(de)車(chē)道(dào)信息，大(dà)眼睛能(n$✘©φéng)識别到(dào)更寬的(de)車(chē)道(d®βào)信息，先各自(zì)分(fēn)别跑各自(zì)的(de)神經網絡算(suàn)法，αε得(de)到(dào)對(duì)應的(de)環境感知(zhī)輸出¶∞​γ。其次，該大(dà)小(xiǎo)眼仍然參與整車(chē)全視(shì)角下(xià)的("δ"εde)BEV構建，通(tōng)過上(shàng)述®™£≥所提到(dào)的(de)逆透視(shì)投影(yǐng)變換得(de)到(dào)對(duì¥÷±)應的(de)BEV鳥瞰圖。最後，将前兩者的(d★★e)感知(zhī)模塊通(tōng)過變換到(dào)同一(yī)個≤→σ'(gè)坐(zuò)标系下(xià)進行(xíng)₩σ>融合生(shēng)成對(duì)應的(de)三維感知(zhī)結果将更加準确的(de)還₽✔↓∞(hái)原實際場(chǎng)景。

      這(zhè)裡(£★♥lǐ)需要(yào)注意的(de)是(shì)，考慮到(dඣo)計(jì)算(suàn)資源和(hé)效率，由于智能(nén∞<g)汽車(chē)更關注自(zì)車(chē)道(dào)前方的σ₹'(de)車(chē)道(dào)線信息，因此，對(duì)于單V識别，考 α慮前視(shì)大(dà)小(xiǎo)β$眼就(jiù)足夠彌補BEV在遠(yuǎn)距離(lí)感'☆÷σ知(zhī)中的(de)缺陷了(le)。當然不(bù)差錢(qián)的(de)Tier1或主機(jī)廠(chǎng)，如(rú)果選擇了(le)較大(dà)算(suàn)力平∞∏台的(de)域控，也(yě)可(kě)以分(fēn)别将側視(shì)和(hé)後視(shì)‌↓進行(xíng)單獨深度學習(xí)生(shēng)成對(duì)應的(de)感知∏Ωπ↑(zhī)結果。

總結

      ®₽∏→本文(wén)接續前文(wén)介紹了(le)利用(yòng)車(chē)道•↔(dào)寬度這(zhè)一(yī)顯著('×♣zhe)特征來(lái)提取滿足該特征的(de)邊緣α→©點，最終利用(yòng)RANSAC特征點拟合的(de)§₹Ω∏方法得(de)到(dào)識别的(de)車(chē)道(dào)線。多(duō)個(gè)代表性場βΩ(chǎng)景的(de)實驗結果表明(míng)，該方法對(duì) ©✔↕複雜(zá)光(guāng)照(zhào)條件(jiàn)具有(yǒu)較強的(dβ•↔e)适應性，能(néng)夠在高(gāo)反光(guāng)、暗(à​®↓n)影(yǐng)、照(zhào)度不(bù)均等區(qū)域識别視(shσ₹ì)場(chǎng)內(nèi)的(de)路(lù<₹)徑像素。因此，在正常道(dào)路(lù)和(hé)特殊環境下(xià)基本不(↑γbù)會(huì)出現(xiàn)識别失敗的(de)情況。

轉自(zì)焉知(zhī)汽車(chē)£€$