去(q÷‌←ù)年(nián)年(nián)底馬斯克的(de) FSD V12 全球直播，重新訓✘₩練的(de)系統完全沒有(yǒu)給這(zhè)位科(kē)技(jì)頂流一(yī)±'±點面子(zǐ)。

      在全球觀衆的(de)見(ji€×↑àn)證下(xià)，特斯拉試圖闖一(yī)次陣仗最大ε₹‌(dà)的(de)紅(hóng)燈，來(lái)告訴所有(yǒu)人(rén)：端到(dào)端自(zì)動駕駛，其實沒有(yǒu)那(nà)麽容易。

     「是(shì)技(>σ≥πjì)術(shù)進步，還(hái)是(shì)一(yī)意孤行(xíα>♥​ng)」，在一(yī)個(gè)傳統分(fē ≈>n)模塊的(de)技(jì)術(shù)棧面前顯而易見(jiàn)的(de) Bug™∏ 出現(xiàn)了(le)之後，也(yě)就(jiù)有(yǒu)了(le)討(tǎ♣♣☆λo)論的(de)空(kōng)間(jiān)。

      但Ω"♦ (dàn)是(shì)，好(hǎo)在 FS₽→≥→D V12 并沒有(yǒu)停滞不(bù)前，這(zhè)些(xiē)討(tǎo)論并不(bù)會α‌÷£(huì)傳到(dào)技(jì)術(shù)開≥✔ ♦(kāi)拓者的(de)耳朵裡(lǐ)。

     ≥® FSD V12.3 發布，馬斯克宣布北(b←<↕∏ěi)美(měi)車(chē)主可(kě)以試用(yòng)一(yī)個(gè)月★‍(yuè)。

      事(shì)情開(kāi)©₽ 始發生(shēng)變化(huà)，由「端到(dào)端是(shì)一(yī)條δ"死路(lù)」，變成了(le)「路(lù)況還(hái)是(shì)簡∏δ♦單，有(yǒu)本事(shì)到(dào)國(guó)內γ✔(nèi)來(lái)試試」。

      進入 2024 年(nián)，國(guó)內(nèi∑γ)廠(chǎng)商突然然開(kāi)始著(zhe)手宣傳端☆←‍ 到(dào)端，各大(dà)廠(chǎng)商都(dōu)有(yǒu)意無意地(dì)透露，自(z∞©ì)己正在這(zhè)個(gè)方向上(shàng)押重注™λ。

      - 3 月(yuè) 17 日(rì)，在汽車(chē)百人(rén)會(huì)上(‌÷∏∏shàng)，二線智能(néng)駕駛廠(chǎng)商>₽₩♥元戎啓行(xíng)突然宣布，元戎啓行(xíng)是(sh$↑ì)國(guó)內(nèi)第一(yī)家(jiā)能(néng)夠将端到(dào)端模型成δ↔‌'功上(shàng)車(chē)的(de)人(rén)工(gōng)智能(néng)企業(yè'₹♠)；

      - 4 月(yuè) 2¶₩★4 日(rì) ADS 2.0 升級為(wè©✘®§i)乾崑 3.0，技(jì)術(shù)轉向 GOD/PDP 網絡全新架構，對(du'∑Ωì)外(wài)稱是(shì)端到(dào)端架構；

     $ε↕± - 5 月(yuè) 20 日(rì)，小(xiǎo)鵬汽車(c¶≠hē)舉辦了(le)以「開(kāi)啓AI智駕時(shí)代」為(wèi)主題π₹ ↓的(de)AI DAY發布會(huì)，宣布端到(dào)端大(dà)模型已經量産上♦"(shàng)車(chē)；

      - 5 月(yδλuè) 22 日(rì)，傳出消息，小(xiǎo)米汽車(chē)原圖  森(sēn)未來(lái)首席科(kē)學家(jiā)王乃岩即将帶領團↑"隊加入小(xiǎo)米汽車(chē)，負責端到(dào)端自(zì)動駕αδ 駛團隊，而王乃岩樂(yuè)于表達，在知(zhī)乎上(shàng)也(yě)曾多δ→‍(duō)次抨擊端到(dào)端自(zì)動駕β☆駛；

      就(jiù)像 2021 年(nián•←✔) BEV 浪潮一(yī)樣，各大(dà☆↑☆)廠(chǎng)商再次在自(zì)動駕駛​§♣¶路(lù)線上(shàng)達成了(le)一(yī)緻。

      那(nà)麽什(shén)麽是(shì)↔§端到(dào)端自(zì)動駕駛，先進在何處，真的(de)能(néng)$←&幫助我們獲得(de)更好(hǎo)的(de)"←☆≥自(zì)動駕駛體(tǐ)驗嗎(ma)？

01 什(shén)麽是(shì)端到(dào)端自(zì)動駕駛

      經典的(de)自(zì)動駕駛系統有(yǒu♣→)著(zhe)相(xiàng)對(duì)統一(←λ€λyī)的(de)系統架構：

      -&n☆₩bsp;探測（detection）；

      - 跟蹤（tracking）；

     >  - 靜(jìng)态環境建圖（mapping）；

     ÷​∏$ - 高(gāo)精地(dì)圖定位；

      - 目标物(wù)軌迹σ≥₩ 預測；

      - 本車(chē)軌迹φ∞λ‌規劃；

      - 運動控制☆δ↔$(zhì)。

      幾乎所有(yǒu)的(de)自(zì)動駕駛系統都(d‍₹≤ōu)離(lí)不(bù)開(kāi)這(zhè)些(xiē)子(→↔∑&zǐ)系統，在常規的(de)技(jì)術(shù)開(kāi)發中£↑，這(zhè)些(xiē)模塊分(fēn)别由不(bù)同≤¶←的(de)團隊分(fēn)擔，各自(zì)負責自(zì)己模塊的(de)結果輸出¶≈​。

      這(™∞≈☆zhè)樣的(de)好(hǎo)處是(s≠•hì)，每一(yī)個(gè)子(zǐ)系統都(dōu)λγε​能(néng)夠有(yǒu)足夠好(hǎo)的(de)可$'¶(kě)解釋性，在開(kāi)發時(shí)能(néng)夠獨立優化(huà‍ ≈)。

      與此同時(shíλ™∑)，為(wèi)了(le)保證整體(tǐ)自(zì)動駕駛≈™的(de)性能(néng)，每一(yī)個×♠(gè)模塊都(dōu)需要(yào)保證給出穩定的(de)表現(xiàn)。

      如(rú)果将這(zhè≈↓£✔)些(xiē)系統簡單分(fēn)為(wèi)兩部分(fēn)，可(kě)以是(shì)感知✔♣♠(zhī)系統和(hé)規劃控制(zhì)系統：

      其實最主要(yào)的(de)特征是(shì)：感知(∑​zhī)得(de)到(dào)結果之後，将結果傳遞給規劃‌©•控制(zhì)系統。

      為(wèi)了(le)讓系統表現(xiàn$÷)足夠好(hǎo)，其實暗(àn)含了(le)兩個(gè)條件(jiàn§ )：

      - 感知(zhī)的(de)結果足夠正确

      - 規劃控制(λεzhì)獲得(de)的(de)信息足夠豐富

      很(‌♠≤φhěn)遺憾，這(zhè)兩條都(dōu)難以保證£<♠Ω，為(wèi)何？

      規劃控制(zhì)所有(yǒu)從(cΩαóng)感知(zhī)得(de)到(dào)的(de)信息，都(dōu)是(sh≠€ì)感知(zhī)工(gōng)程師(shī)基于現(xiàn)有(yǒu)的(de)資源定義→ 好(hǎo)的(de)，這(zhè)裡(lǐ)的(de)資源包括：标注的(de'γ↔)能(néng)力、獲取相(xiàng)應數(shù)據的(de)能(néng)力，甚至工(gōn≠α‍÷g)程師(shī)們對(duì)駕駛的(de)理(lǐ)解。

      舉一(yī)★φ個(gè)非常簡單的(de)例子(zǐ)，一(yī)般來(lái)說(shu≥€ō)我們開(kāi)車(chē)時(shí)候發現(xiδα‍àn)前車(chē)打轉向燈，我們會(huì)相(xiàng)對(duì)γ‌ 開(kāi)始警覺，并且給前車(chē)足夠的(de↕αΩ)空(kōng)間(jiān)進入本車(chē)道(dào♠α)，但(dàn)是(shì)由于團隊限于£'資源，并沒有(yǒu)識别前車(chē)轉向的(de)信号。

      這(zhè)個(gè)「前車(chē)×₩打開(kāi)轉向燈」的(de)信息，對(duασλì)于規劃控制(zhì)來(lái)說(shuō)，它就 ε£×(jiù)是(shì)丢失了(le)。

     「因此發現(xiàn)轉向燈信 ÷号，并且提前做(zuò)出反應」，這(zh™∞₽←è)個(gè)策略就(jiù)成了(le)一(yī)個(gè)不(bù)可(kě)能₹≈•☆(néng)完成的(de)任務。

      這(zhè)就(j ™iù)引出了(le)模塊化(huà)自(zì↔≥₩)動駕駛的(de)弊端：信息的(de)有(yǒu)損傳遞。

      下(xià)遊任務得(de)到(dàγ≠↑o)的(de)信息是(shì)不(bù)充分(fēn)的(de)，就(•→jiù)相(xiàng)當于有(yǒu)兩個(gè)駕駛員(☆★♦≥yuán)，其中主駕眼睛被蒙住，隻負責操作(zuò)；另一(yī)個(gè)坐(zuò)在副×‍駕駛，由他(tā)來(lái)告訴主駕駛前方發φ±生(shēng)了(le)什(shén)麽。

      而信息的(₽₽≤☆de)傳遞方式是(shì)兩個(gè)駕駛員(yuán)都(dōu)能(néngβπ)理(lǐ)解的(de)，我們可(kě)以稱之為(wèi)：信息的(de)顯式表達。

      舉個(gè♦>γδ)例子(zǐ)，駕駛的(de)語境中前方目标的(de)識别，就(jiù)是(shì)高(gāo)度$ 抽象的(de)顯式表達，一(yī)輛(liànε≥g)車(chē)被抽象成、速度、位置、尺寸、加速度等。

      這(zhè)種表達是(sασhì)人(rén)為(wèi)用(yòng)經​↕®驗抽象出來(lái)并且傳遞給下(xià)遊。

      但(dàn)是(shì)「被誤解是(↔≤ ©shì)表達者的(de)宿命」，人(rén)和(hé)✘λ↕人(rén)之間(jiān)的(de)信息傳遞一(yī)‌'定是(shì)有(yǒu)損的(de)，所以這(zhè)種開(kā★βi)車(chē)方式很(hěn)難達到(dào)非常好(γ₩βhǎo)的(de)體(tǐ)驗。

      優秀的(de)分(fē☆♣n)模塊系統就(jiù)相(xiàng)當于兩個(gè)駕駛員(yuán)有'✘¥'(yǒu)了(le)足夠的(de)駕駛默契λ®，但(dàn)是(shì)絕對(duì)不(b←✘γ ù)能(néng)與一(yī)個(gè)有(yǒ₩δu)足夠駕駛經驗的(de)司機(jī)對(duì)比。

      既然信息顯示表達傳♥π£遞會(huì)有(yǒu)損耗，那(nà)該怎麽做(zuò)？

      這(zhè)裡γλ♦$(lǐ)有(yǒu)個(gè)概念是(shì)：信息的(de)隐式表達。

      我們常常看(kàn)到(dào)一α <(yī)些(xiē)論文(wén)提到(dàoπ∏) Feature 層，這(zhè)是(shì)一(yī)些(xΩ↓÷←iē)信息在神經網絡中的(de)某一(yī)層的¶‍ ←(de)特征表達，是(shì)在訓練過程中，♥§網絡自(zì)行(xíng)學到(dào)的(de)重要(yào)信息。但(dàn)是>$™(shì)這(zhè)些(xiē)信息不(bù)是(shì)靠人(rén←★)為(wèi)定義确定的(de)，我們的(de)經驗并不(bù)能(néng∞•γ∞)完全理(lǐ)解，但(dàn)是(shì)₹₹↑神經網絡能(néng)夠理(lǐ)解，自(z≠§↑ì)動選擇重要(yào)的(de)信息。

      回到(> dào)自(zì)動駕駛語境中，那(nà)就(jiù)是(shì)如(γ'rú)果信息的(de)表達是(shì)有(yǒu)損耗 ≠÷Ω的(de)，那(nà)麽就(jiù)不(bù)表達了(le)，直接将用(yònγφg)神經網絡裡(lǐ)的(de)信号與下(xià)遊對(duì)接起來(lái)。

      這(zhè)其實就(jiù)是(s±β§hì) CVPR 2023 年(nián)↕¥"™ Best Paper UniAD 的(de)思路(lù)：分(fēn)模塊端到(dào)端。

分(fēn)模塊端到(dào)端

      模塊與模塊之間(jiā∞↕®±n)的(de)信息傳遞不(bù)再是(shì)開(kāi)發工(gōng)程師(shī)≠π能(néng)夠直接閱讀(dú)并且理(lǐ)解的(de)內(nèi)容，而是(shì)直接☆≥将幾個(gè)模塊連接起來(lái)，然後在訓練中進行(xíng)全局優化(huà)。

      由此産生(shēng)了(le)區(qū)别于↑‌&δ傳統自(zì)動駕駛技(jì)術(shù)棧最重要(yào)的(de)結構特征：全局可(kě)導并且可(kě)以全局訓練。

      UniA↓₹<™D

      這(zhè)裡(→×σαlǐ)我們簡單看(kàn)一(yī)下(x₽π×♣ià)UniAD 的(de)思路(lù)，從(cóng)結構上(shàng)看(kàn)，如(♥πrú)果不(bù)考慮各模塊之間(jiān)的(  ​de)連接，可(kě)能(néng)會(huì)認為(wèi)這(zhè)©α$↓就(jiù)是(shì)一(yī)個(gè)傳統的(de)大(dà)力λ±飛(fēi)磚，所有(yǒu)的(de)模♠∑‍塊都(dōu)用(yòng) Transformer 進行§™(xíng)改造的(de)系統。因為(wèi)依然可(kě)以很(hěn)明(míng)顯✘ ‌δ的(de)看(kàn)到(dào) BEV freature 層、MapFo ♦≠rmer（建圖）、TrackFormer（跟蹤）等模塊。

      但(dàn)是(shì)，其實最≤γ重要(yào)的(de)改進并不(bù)是(shì)如(rú)此，而是≥±(shì)各個(gè)模塊之間(jiān)的(de)連接方式，并不(bù)是₹∏π(shì)像我們傳統技(jì)術(shù)棧一(yī)樣，用(yòng)初級工(gōng)程師(<$‌‌shī)甚至駕駛員(yuán)完全能(néng)夠理(lǐ)解的÷¥(de)方式進行(xíng)連接的(de)，而是(shì)通(tōng)過神經網絡的(deλ¥)方式進行(xíng)連接。

當然由于開(kāi)環評測方式（并不(bù)×​是(shì)實際運行(xíng)結果，與環境并沒有(yǒu)交互）過于單一(yī)。業(¶↑★≠yè)內(nèi)也(yě)有(yǒu)學者對(duì)其提出批評，認λ↕≈為(wèi)由于 UniAD 主要(yào)在 Nu↑βscenes 上(shàng)進行(xíng)開(kāi)環評測，導緻大(dà)部分(< §€fēn)的(de)軌迹，模型隻要(yào)輸出合适的(de)直行(xíng)命令即可(kě)獲得®→(de)較好(hǎo)的(de)結果，并且甚至還(hái)設計(jì)了(le)一(yī)個αβ∏(gè)新的(de)模型，将感知(zhī)☆×結果完全丢失，隻留下(xià)自(zì)車(chē)和(hé)周圍車(chē)λ'™σ輛(liàng)的(de)軌迹，也(yě)能(néng)獲得(de)不(bù)錯(cuò↓∏♥®)的(de)結果。

      VAD

      這Ω>'(zhè)篇論文(wén)發表在 2023 年(nián)✔π>&的(de) ECCV 上(shàng)，相λ↕ ↑(xiàng)較于 UniAD ，摒棄了(le)傳統技(jì)術∑♥(shù)棧中的(de)栅格化(huà)表征，對(duì)整個(gè)駕駛場(chǎngα✘)景進行(xíng)矢量化(huà)建模，同樣與 UniAD ×‌≤一(yī)緻，VAD 基于統一(yī)的(de)>>↑ Transformer 結構。

       - 動态目标信息由 Vectorized Motion Transformer 提取，實現(xiàn)←≤動态目标檢測和(hé)矢量化(huà)的(de)軌迹預測；

      &'©✘&nbsp;- 靜(jìng)态地(dì)圖由 Ve♣∑πctorized Map Transformer 提取； ≥§

      &nb♥≠∏‍sp;- Planning Transformer 以隐式的(de)動靜(jìng)态場(ch♦★§ǎng)景特征作(zuò)為(wèi)輸入，并且獲得(de)相(xià↓₽βng)應的(de)規劃信息。

      從(có‍↑π≈ng)結構來(lái)看(kàn)，OCC 的(de)模塊Ω∑被完全抛棄了(le)。

      對(duì)此論文(wén)中也(yě)≈₩↓∏有(yǒu)解釋，OCC 的(de)模塊一(yī)定程度上(shàng)作(zuò)為(→>wèi)後處理(lǐ)兜底的(de)任務，具有(yǒσ∏©♦u)較大(dà)的(de)算(suàn)力開(kāi)銷，而 VAD 選擇在訓練階段引入更♥‌§©多(duō)約束，降低(dī)對(duì)後處理(l≈ ≤ǐ)兜底的(de)需求。

      于此同時 γβ(shí)，VAD 也(yě)在 Carla（一(yī)種 ₩δΩ被學界廣泛使用(yòng)的(de)自(zì)動駕駛模拟器(qì)）中進行(xíng)了(l©©&♦e)評測，也(yě)獲得(de)了(le)非常好(hǎo)的(de)結果。

      從(cóng)這(zhèα≤)兩篇論文(wén)中我們不(bù)難看(kàn)出，學界對(duì)于端到(dào)端自(zì)動駕駛的(de)态度應該是(s​±→≥hì)可(kě)連接并且全局可(kě)以進行(x₩'÷§íng)共同優化(huà)訓練的(de)端到(dào)端，而非一(yī)個(gè)完全的(de)÷©≈π純黑(hēi)盒網絡，還(hái)是(shì)從(cóng)原有(yǒu)的(de)自(zì®σ©)動駕駛技(jì)術(shù)棧進行(xíng)改進而來(lái)，♦ 這(zhè)實際上(shàng)與大(dà)模型無關，也(yλ≠↓ě)與 nWorld Model 也(yě)并沒有(yǒu)産生(shēng)↑Ω實際的(de)聯系。

      &nbs Ω÷σp;那(nà)麽既然定義清楚了(le)，業(yè)內(nèi™ ≥φ)是(shì)否都(dōu)有(yǒu)必要(yào)切換呢(ne)？切換的(de)難度在什(sσ☆hén)麽地(dì)方？

02 端到(dào)端自(zì)動駕駛會(huì)帶來(lái)什(shén)麽

      全局可(kě)導并且全局優化(huà)是(s→€σhì)端到(dào)端結構上(shàng)的(de)特點，這←σ≠(zhè)種特點能(néng)帶來(lái)什(shén)麽呢(ne)？

    「Scaling La↓←↑w」

      這(zhè)是(s¥​hì)一(yī)個(gè)非常流行(xíng)Ω<的(de)詞彙，從(cóng) ChatGPT 3.5 橫空(kōng)出世，震驚之餘人σ σγ(rén)們總結出來(lái)的(de)經驗，通(tōng)俗的(de)說(shuō)法即'↓≤∞：數(shù)據驅動，大(dà)力出奇迹。

      這(zhè)也(yě)是(shì) OpenAI 奉為(wèi)圭臬的(de)開(kāi)發準則，事(shì)₹♦☆實證明(míng)這(zhè)條路(lù)确實能(←↓∏néng)夠産生(shēng)出來(lái)目≤↓​前最優秀的(de)人(rén)工(gōng)智能(néng)産品，ChatGPT4、Sora，都(dōu)遵循這(zhè)ε£♦條規則。

      而自(zì)動駕駛現(xiàn)有(yǒu)的(de≥♦)技(jì)術(shù)棧每個(gè)模塊之σ☆間(jiān)是(shì)不(bù)可(kě)連接的(de)，每個(gè)模塊之間(>←↑jiān)是(shì)靠人(rén)為(wèi)和(hé)規則進行(★≤xíng)連接的(de)，無法完全靠數(shù)據進行(xíng)全•§δ局訓練，那(nà)麽 Scaling Rule 至少(shǎo)在♦ λ目前在自(zì)動駕駛界是(shì)無效的(✔'✔de)。

      而端到(dào)端自(zì)動駕駛在一(y↕₹ ī)定程度上(shàng)就(jiù)給了(le) Sσ↔£caling Law 發揮的(de)餘地(dì)，這(zhè)符合目前人(rén)工(gōng"↑‍)智能(néng)的(de)大(dà)趨勢。

      在傳‌γ統的(de)技(jì)術(shù)棧解決問(wèn)題上(shàng)，不(bù)論多(¶Ω♥duō)麽複雜(zá)的(de) Corner Case 都(dōu)需要(yào)工(gōng)‌δ≠✔程師(shī)們，用(yòng)非常抽象的(de)方式将場(ch>✘ǎng)景描述清楚，收集數(shù)據然≤$ 後标注，解決問(wèn)題，然後驗證。

      但(dàn)是(s₹∞©hì)實際上(shàng)場(chǎng)景浩如(rú)煙(yān)海(hǎi)，很(hěn)多≤π€(duō)任務非常瑣碎，以單點突破的(de)方式幾乎沒有(yǒu)可(kě)能(né§γ§‌ng)完全解決。

      所以有(yǒu)些(± xiē)公司的(de)場(chǎng)景待解≈≠決庫裡(lǐ)面會(huì)将重點的(de)安全問(wèδ​n)題先處理(lǐ)，而小(xiǎo)頻(pín)率的(de)體(tǐ)驗問(wèn)題會(hπ'→uì)之後處理(lǐ)，而這(zhè)些(xiē)小(xiǎo)頻ε$(pín)率的(de)體(tǐ)驗問(wèn)題，可(kě)能(néng)就(jiù)決定了 λ(le)，這(zhè)個(gè)場(chǎng)景的(de)處理(lǐ)是(shì)否類人(ré©↓n)。

      例如(rú)，紅α≤™©(hóng)綠(lǜ)燈前的(de)減速度是(shì)否絲滑，是(shì)否是(shì‍$✘')根據當時(shí)的(de)車(chē)道(dào)線和(hé)交通(tōng)參與者Ω ✘γ做(zuò)的(de)實時(shí)判斷？

      6 月(yuè) 7 日(rì)，在上(shàng)海(hǎi)人(rén)工(gōng)智能(néng)<≥實驗室主辦的(de)端到(dào)端研討(tǎo)會(huì)上(shàng ×)，前段時(shí)間(jiān)離(lí)職₩σ加入小(xiǎo)米的(de)消息引發廣泛關注的(de♦∞₩×)王乃岩提出：

      端到(dào)端可(kě)以将很(hěn)瑣碎的(de)任務，用(yòng)人(réπ✔n)類的(de)駕駛習(xí)慣進行(xíng)統一™£(yī)的(de)監督，降低(dī)開(kāi)發成本，與可(kě)解±§釋的(de)傳統技(jì)術(shù)棧結合，可(kě)能(néng)可(kě)以帶領我們走向 &β•L4 甚至 L5。

03 端到(dào)端自(zì)動駕駛的(de)難點

      我們都(dōu)知(zhī)道(¶‌≈dào)神經網絡是(shì)黑(hēi)盒系統，目前其 ✔α實也(yě)沒有(yǒu)辦法去(qù)控制(zhì)神經網絡內(n​₩èi)部發生(shēng)了(le)什(shén)麽，而這(zhè)天然與自(zì) ↓動駕駛要(yào)求的(de)安全性和(hé)可(kě)<φ☆靠性相(xiàng)悖。

      在傳統的(de)技(jì)術(s✔αhù)棧中，如(rú)果遇到(dào)了(le)一(yī)個(gè)問(wèn)題£₹，是(shì)可(kě)以通(tōng)過分(fēn)模塊的(de)方式找到(dào)出問α€&≈(wèn)題的(de)部分(fēn)，例如(rú)感知(zhī≥☆≈σ)層給的(de)目标的(de)位置不(bù)對(duì)、規劃給的(de)✔∑軌迹不(bù)好(hǎo)。

      但(dàn)是(shì)端到(dào)端系統這(z≥β hè)些(xiē)方式就(jiù)失效了(le)。

      更好(hǎo)的(de)問(wèn)題歸因®β 優化(huà)和(hé)驗證系統迫在眉睫。

如(rú)何找到(dào)合适的(de)數(shù)據

      我們可(kě)以将同樣基本是€®×(shì)黑(hēi)盒的(de)感知(zhī)系統推廣到(dào)整±™β‍個(gè)自(zì)動駕駛系統上(shàng)。

      以前感知(zhī)如(rú)果出了(le)問(w耩n)題應該怎麽做(zuò)，這(zhè)裡(lǐ)舉一(yī)個(g₹‌♠è)非常典型的(de) Corner Case， 公交車(chē)上(shàng)廣告牌的φ↔↑φ(de)人(rén)形圖案，這(zhè)個(gè)問(wèn)題特斯拉、理(lǐ)想都(dōu)✘λ™←爆出過誤識别新聞。

      應該如(rú)何解決這≈≠↕₹(zhè)個(gè)問(wèn)題？

      挖掘足夠的(de)ε ±$的(de)公交車(chē)上(shàng)廣告牌的(de)人(rén)形圖案數(shù)₽↓‍據，扔給神經網絡進行(xíng)訓練，不(bù)斷優化(huà)感知(zhī)系統，規劃和(★↔hé)控制(zhì)部分(fēn)可(kě)以保持不(bù)變。

      那(nà)麽再進一(yī)σ↓δ步，已經是(shì)端到(dào)端系統了(le)，如(rú)果現(xiàn♠¶)在結果是(shì)車(chē)輛(liàng)誤刹。

      那(nà)±←♦δ麽問(wèn)題的(de)歸因就(jiù)成了(le)一(yī)個(gè)巨大(dà)的(de)問←©<(wèn)題，因為(wèi)沒有(yǒu)辦法馬上(shàng)知(zhī€>)道(dào)，是(shì)因為(wèi)這(zhè)個(gè)人(r ≈ én)形圖案帶來(lái)的(de) BUG，也(yě)就(jiù)無γ©&>法去(qù)對(duì)應尋找數(shù)據。

      即使找到(dào)了(le)對(duì)β≈應的(de)問(wèn)題，尋找特定的(de)數(shù)據也(yě)是(shì)巨大(γ©dà)工(gōng)程，需要(yào)在數(sσ↓≥✔hù)據閉環系統中找到(dào)相(xiàng)似的(de)人(rén)形公交∑λ視(shì)頻(pín)和(hé)人(rén)類駕駛數(shù)據，再進入端到(dào)端系≠→統進行(xíng)訓練。

      那(nà)±☆麽新的(de)問(wèn)題又(yòu)出現(x♣¥∏iàn)了(le)，如(rú)何驗證問(wèn)題已經修複并且性能(néng)不(bù)回退呢(‍€✔←ne)？

      如(rú)何驗證端到(dào ♠≥)端自(zì)動駕駛系統

      我們知(zhī)道(dào)傳統£✘׶的(de)自(zì)動駕駛技(jì)術(shù)棧通(tōφ₹ng)過仿真虛拟進行(xíng)大(dà)規≠≠₹¶模驗證得(de)出結論後，可(kě)以上(shàng)車(chē)進行(x§↑ íng)實車(chē)測試。

      而這(zhè)裡(lǐ)最重要(yà$±♥o)的(de)區(qū)别是(shì)，仿真的(de)驗證。

      在傳統的(de)技(​↕α↓jì)術(shù)棧中，可(kě)以将每個(gè)模塊分(fēn∞‍♦)開(kāi)來(lái)驗證的(de)，感知(zhī)和(hé)規劃可(kě)以分(f÷®ēn)别用(yòng)數(shù)據在雲上(shàng)大(dà)規÷₩模驗證，每個(gè)團隊都(dōu)會(huì¥☆∏λ)有(yǒu)一(yī)個(gè)數(shù)據庫，每次新系統上(shàng)線會(huì)✘€将數(shù)據喂到(dào)新系統裡(lǐ)面進行(xíng)大(dà)規模驗證。< β

      這(zhè)是(shì)之前的(de)經驗®₩。

      但(dàn)是(shì)這(zhè)裡(lǐ)☆→有(yǒu)兩個(gè)問(wèn)題：

      - 大(dà)部分(fēn)團隊的(de)驗證方式是(shì)開ε∏¶(kāi)環驗證，也(yě)就(jiù)是(shì)并沒有(yǒ>Ωε<u)與環境産生(shēng)任何交互，隻驗證輸入和(hé)輸出鏈路(lù)。
      - 大(dà)部分(fēn)團隊對(dπ€≥§uì)感知(zhī)的(de)驗證還(hái)無法用(yòng)純虛拟的(de)方式進♥←$γ行(xíng)，需要(yào)實車(chē)數(shù)據才可(kě)以完成。

      而這(zhè)與端到$∑>✘(dào)端自(zì)動駕駛是(shì)相(xiàng)悖的(de)。

      端到(dào)端駕駛系統在上(sh÷‌∑‌àng)車(chē)跑之前，必須要(yào)用(yγ♥¥òng)虛拟的(de)方式全局驗證通(tōng)過，否則上(shàng)車(chē)跑通(tōn£±≤€g)無異于天方夜譚。

      那(nà)麽就(jiù)涉及到σ←↕γ(dào)一(yī)個(gè)非常好(hǎo)的(de)→ε可(kě)以模拟所有(yǒu)感知(zhī)輸出的(de)自(zì)動駕駛模拟≠π✔器(qì)，而且能(néng)夠在這(zhè)個(gè)模ε±拟器(qì)裡(lǐ)面模仿所有(yǒu)的(de)交通(tōng)參 ♥×♣與者的(de)交互信息。

      即為(wèi<→♠)了(le)保證系統在真實世界的(de)安全性，我們需要"≠®★(yào)在虛拟世界中将系統充分(fēnγ<)驗證。

      前文(wén)提到(dào)的(de)α ≈ Carla 在一(yī)定程度上(shàng)可(kě)以滿足學界的(₽ de)需求，但(dàn)是(shì)場(chǎng)景的(de)單一(yī)和σγ(hé)渲染的(de)質量，離(lí)業(yè)界的(de£↓↕÷)要(yào)求依然想去(qù)甚遠(yuǎn)。

     σ£ 其實不(bù)難看(kàn)到(dào)，端到(dào)端自(zì)動€ε₹駕駛依然依賴原有(yǒu)的(de)自(zì)動α≈ 駕駛開(kāi)發工(gōng)具鏈，優秀的(de)數(shù)據閉環工γγ≈(gōng)具用(yòng)來(lái)收集數(shù)據，優秀的(de)自(zì→₽)動駕駛仿真系統用(yòng)來(lái)驗證，而這(z¶€hè)大(dà)部分(fēn)團隊幾乎都(dōu≥£)沒有(yǒu)。

      從(cóng≈↔)這(zhè)個(gè)角度來(lái)看(kàn)，端到(dào)端自(↕' zì)動駕駛無法進行(xíng)彎道(dào)超車(ch>§ē)。

寫在最後

      雖然著名反 OpenAI  ↑★•人(rén)工(gōng)智能(néng)專家(jiā)楊樂(yuè)昆認為(wèi₩∏∞)，現有(yǒu)的(de) LLM 盡管在自(z'¶≠ì)然語言處理(lǐ)、對(duì)話(huà)交互、文(wén)本創作(zuò)等領域表♣×₹γ現(xiàn)出色，但(dàn)其仍隻是(shì)一(yī)種「統計(jì)建模」技(jì)₩>術(shù)。

      通(tōng)過學習(xí)←£數(shù)據中的(de)統計(jì)規律來(lσφ₩>ái)完成相(xiàng)關任務，本質上(shàng)并非具備真正的(de)「理(lǐ)解」和₹≤≤(hé)「推理(lǐ)」能(néng)力。

      而¶$這(zhè)個(gè)理(lǐ)論似乎放(fàng)在端到(dào)端自(zì)動駕駛上(shànπ¶g)也(yě)成立，相(xiàng)似的(de)是(s♠♣hì)最近(jìn)港大(dà)的(de)著名學者馬毅提出：如(rú)果相(xiàng)信隻靠 Scaling Laws 能(néng)實現(xiàn) ✔ AGI，你(nǐ)該改行(xíng)了(le)。

      那(nà)麽似乎我們也(yě)可 ₩£∞(kě)以說(shuō)：如(rú)果相(xiàng)×♠¥∏信隻靠端到(dào)端就(jiù)能(néng)實現(xiàn) L5，那(nà)麽你(nǐ)↑λ♦ 該改行(xíng)了(le)。

      不(bù)過，我們目前 ±®看(kàn)到(dào)最有(yǒu)希望的(de)一(yī)條路(lù)已經擺在了(le)我們面✔©≈π前，雖然這(zhè)條路(lù)看(kàn)不(bù)到(dào)是(shì)否↑‍☆能(néng)夠通(tōng)向終點，這(zhè)條路(→πεεlù)似乎也(yě)沒有(yǒu)那(nà)麽簡單，路( ★∏lù)上(shàng)充滿了(le)很(®©hěn)多(duō)不(bù)确定性，抵觸的(de)聲™€δ₩音(yīn)不(bù)絕于耳。

      但(÷↔§dàn)是(shì)特斯拉已經向我們示範了(le)這(​ε♣zhè)條路(lù)的(de)巨大(dà)潛力。

      所以，我們為(wèi)什(shén)麽不(bù)去(q♠£±ù)嘗試呢(ne)？

轉自(zì)焉知(zhī)汽車(chē)