隨著人工智能技術(shù)的快速發(fā)展，自動(dòng)駕駛技術(shù)已經(jīng)逐漸從實(shí)驗(yàn)階段邁向商業(yè)化應(yīng)用。在自動(dòng)駕駛技術(shù)架構(gòu)中，端到端大模型正逐步成為推動(dòng)行業(yè)進(jìn)步和技術(shù)革命的重要力量。
一、端到端大模型概述
端到端大模型（End-to-End Model）是一種人工智能模型架構(gòu)，即一個(gè)能夠直接處理原始輸入數(shù)據(jù)并產(chǎn)生最終輸出結(jié)果的AI模型，中間不需要傳統(tǒng)機(jī)器學(xué)習(xí)流程中復(fù)雜的數(shù)據(jù)預(yù)處理和特征提取等步驟。例如，在語音模型方面，傳統(tǒng)方式的流程鏈為：語音轉(zhuǎn)文字、文字輸入大模型、大模型處理得到文字結(jié)果、文字轉(zhuǎn)換為語音；但端到端大模型可以省略中間的轉(zhuǎn)化過程，直接理解輸入的語音并給出基于語音的輸出結(jié)果。在自動(dòng)駕駛領(lǐng)域，端到端大模型將自動(dòng)駕駛中的感知、決策和控制環(huán)節(jié)整合到一個(gè)統(tǒng)一的深度學(xué)習(xí)框架中，即車載攝像頭、激光雷達(dá)等傳感器采集到的圖像、距離等環(huán)境信息直接輸入大模型，大模型輸出方向盤轉(zhuǎn)動(dòng)角度、車速控制等駕駛操作指令。
圖片來源：北國咨繪制
圖1 端到端自動(dòng)駕駛模式示意圖
（一）技術(shù)優(yōu)勢
由于端到端大模型具有系統(tǒng)簡潔直接性、數(shù)據(jù)驅(qū)動(dòng)性等特點(diǎn)，在自動(dòng)駕駛領(lǐng)域應(yīng)用具有如下優(yōu)勢：
1.減少信息傳遞損耗，更接近人類駕駛體驗(yàn)
傳統(tǒng)的自動(dòng)駕駛系統(tǒng)需要感知、決策、控制等多個(gè)模塊獨(dú)立運(yùn)行，每個(gè)模塊之間的接口和協(xié)調(diào)都需要額外的計(jì)算和時(shí)間消耗。而端到端大模型將多模塊整合形成一體化的單模型，信息直接在單模型內(nèi)部進(jìn)行傳遞，避免模塊之間信息有損傳遞、延遲和冗余，提升系統(tǒng)效率。例如，在進(jìn)行變道操作時(shí)，從判斷周圍車輛距離與自身車速，到做出最終的變道決定，并執(zhí)行加速或者減速、轉(zhuǎn)向操作，端到端大模型在輸出駕駛指令時(shí)的連貫性和自然性更好，能夠像人類一樣一氣呵成。
2.以全局最優(yōu)為目標(biāo)進(jìn)行學(xué)習(xí)，提升可靠性
傳統(tǒng)自動(dòng)駕駛模型依賴于預(yù)先設(shè)定的規(guī)則來判斷不同的交通狀況，且各個(gè)模塊單獨(dú)進(jìn)行優(yōu)化，難以達(dá)到整個(gè)系統(tǒng)的全局最優(yōu)。端到端大模型能夠?qū)⒄w駕駛?cè)蝿?wù)作為一個(gè)目標(biāo)，通過海量的駕駛場景數(shù)據(jù)訓(xùn)練優(yōu)化，使其在各種真實(shí)的駕駛場景下都能做出更加合理和準(zhǔn)確的決策。
3.自動(dòng)且持續(xù)優(yōu)化，場景適應(yīng)能力更強(qiáng)
端到端大模型能夠通過海量數(shù)據(jù)的輸入進(jìn)行自我學(xué)習(xí)，隨著數(shù)據(jù)量增加，模型性能和精度會(huì)不斷提升；同時(shí)，其具有更好的泛化能力和零樣本學(xué)習(xí)能力，在沒有針對某個(gè)特定場景進(jìn)行預(yù)訓(xùn)練的情況下，依然能夠根據(jù)已學(xué)習(xí)到的知識和模式進(jìn)行一定的理解和駕駛決策，提升車輛在動(dòng)態(tài)環(huán)境中的反應(yīng)能力。如對于一個(gè)新建設(shè)且沒有出現(xiàn)在訓(xùn)練數(shù)據(jù)中的新型環(huán)島交通設(shè)計(jì)，端到端大模型可以根據(jù)與環(huán)島類似的圓形道路、讓行規(guī)則等做出合理的駕駛決策。
（二）面臨挑戰(zhàn)
1.高質(zhì)量數(shù)據(jù)需求巨大
端到端大模型的訓(xùn)練需要不同天氣、不同時(shí)間段、不同道路條件下的大量標(biāo)注數(shù)據(jù)，且數(shù)據(jù)需滿足準(zhǔn)確性、一致性等質(zhì)量要求。而數(shù)據(jù)采集、處理和標(biāo)注是一個(gè)非常龐大且復(fù)雜的任務(wù)，對于企業(yè)來說是一個(gè)巨大的挑戰(zhàn)。
2.計(jì)算資源需求高
端到端大模型要一次性處理從輸入到輸出的整個(gè)流程，大量的數(shù)據(jù)計(jì)算，需要強(qiáng)大的計(jì)算能力，包括高性能的GPU等硬件設(shè)備，不僅增加了技術(shù)研發(fā)成本，也對計(jì)算資源的部署和管理提出了更高要求。
3.模型可解釋性差
端到端大模型通常被視為“黑箱”，其內(nèi)部決策過程和依據(jù)難以清晰解釋，對管理造成困難，例如當(dāng)模型做出錯(cuò)誤決策時(shí)，很難確定問題根源，給故障排查、安全性驗(yàn)證和責(zé)任界定帶來困難，也可能影響公眾對自動(dòng)駕駛技術(shù)的信任。
圖片來源：北國咨繪
圖2 端到端大模型在自動(dòng)駕駛領(lǐng)域應(yīng)用的優(yōu)勢與挑戰(zhàn)
二、端到端大模型在自動(dòng)駕駛領(lǐng)域的應(yīng)用
端到端大模型已經(jīng)成為自動(dòng)駕駛技術(shù)發(fā)展的重要方向，尤其在特斯拉和小鵬汽車等企業(yè)的推動(dòng)下，逐步實(shí)現(xiàn)了量產(chǎn)應(yīng)用。
（一）眾多新勢力車企率先實(shí)現(xiàn)端到端大模型產(chǎn)業(yè)化
新勢力車企基于互聯(lián)網(wǎng)思維基因與開發(fā)能力，率先自研端到端大模型，并促進(jìn)其在自動(dòng)駕駛領(lǐng)域產(chǎn)業(yè)化。特斯拉是端到端大模型技術(shù)全球引領(lǐng)者，2023年推出全新FSD V12（Full Self-Driving Version 12），在北美和中國等多個(gè)市場進(jìn)行廣泛測試，標(biāo)志著特斯拉成功地將端到端大模型應(yīng)用于自動(dòng)駕駛系統(tǒng)并產(chǎn)業(yè)化落地。小鵬汽車2024年7月全量推送AI天璣系統(tǒng)，在國內(nèi)率先實(shí)現(xiàn)了端到端自動(dòng)駕駛大模型的量產(chǎn)應(yīng)用。截至2024年11月，小鵬汽車已完成全國2595個(gè)城市的測試，實(shí)車測試?yán)锍踢_(dá)958萬公里，推動(dòng)其端到端大模型快速迭代。理想汽車2024年7月發(fā)布基于端到端模型、VLM視覺語言模型和世界模型的全新自動(dòng)駕駛技術(shù)架構(gòu)；10月理想汽車將行業(yè)首創(chuàng)的“端到端+VLM”雙系統(tǒng)智能駕駛方案正式全量推送。蔚來汽車2024年7月發(fā)布智能駕駛技術(shù)架構(gòu)，在其NIO Pilot智能駕駛系統(tǒng)中，逐步采用端到端大模型來提升自動(dòng)駕駛的安全性與擬人性，特別是在城市道路和復(fù)雜環(huán)境下的表現(xiàn)逐步提升。
圖片來源：北國咨繪制
圖3 端到端大模型車企對比
（二）自動(dòng)駕駛產(chǎn)業(yè)鏈條關(guān)鍵企業(yè)快速入局協(xié)同發(fā)展
端到端大模型的產(chǎn)業(yè)化不僅依賴于單一車企的研發(fā)，還需要整個(gè)產(chǎn)業(yè)鏈的協(xié)同發(fā)展。硬件方面，車規(guī)級芯片、傳感器等核心硬件的進(jìn)步為大模型運(yùn)行提供基礎(chǔ)支持。當(dāng)前，英偉達(dá)、英飛凌等國際芯片廠商主導(dǎo)了自動(dòng)駕駛領(lǐng)域的計(jì)算硬件供應(yīng)，華為、地平線等國內(nèi)企業(yè)通過自主研發(fā)打破技術(shù)壁壘，華為昇騰系列、地平線征程系列芯片，已廣泛應(yīng)用于國內(nèi)車企的自動(dòng)駕駛系統(tǒng)，為端到端大模型提供強(qiáng)有力的計(jì)算支持奠定基礎(chǔ)。軟件方面，人工智能企業(yè)也為車企的自動(dòng)駕駛系統(tǒng)提供了全方位的服務(wù)。元戎啟行推出DeepRoute IO平臺，是業(yè)界率先將端到端技術(shù)應(yīng)用于高階智能駕駛汽車的方案之一，目前與比亞迪合作，負(fù)責(zé)比亞迪POC端到端智能駕駛項(xiàng)目。紐勱科技推出將算法、軟件、硬件融于一體的自動(dòng)駕駛技術(shù)方案Nullmax Intelligence，基于端到端的架構(gòu)，采用多模態(tài)大模型和安全類腦，以純視覺、真無圖、多模態(tài)的技術(shù)特點(diǎn)，助力汽車智能化。
（三）商用車或?qū)⒏鞂?shí)現(xiàn)端到端大模型產(chǎn)業(yè)化落地
由于商用車應(yīng)用場景較為簡單，交通環(huán)境和駕駛場景較為單一，供應(yīng)鏈中專屬定制較少，共享復(fù)用較多，易于形成商業(yè)化閉環(huán)，降低了大規(guī)模量產(chǎn)的難度，預(yù)計(jì)商用車將在較早階段實(shí)現(xiàn)L4級別的商業(yè)化應(yīng)用。新能源重卡“造車新勢力”零一汽車已實(shí)現(xiàn)驚蟄和小滿兩款車的量產(chǎn)，其端到端自動(dòng)駕駛系統(tǒng)計(jì)劃于2025年實(shí)現(xiàn)量產(chǎn)，2026年實(shí)現(xiàn)高階自動(dòng)駕駛的大規(guī)模商業(yè)化運(yùn)營。未來將會(huì)從礦區(qū)、港口、封閉物流園區(qū)等封閉式場景，到短途專線、高速專線等半封閉式區(qū)域，再到城郊/國道或者高速公路等全開放式區(qū)域，通過場景漸進(jìn)逐漸推動(dòng)商用車自動(dòng)駕駛發(fā)展。
（四）行業(yè)標(biāo)準(zhǔn)與法規(guī)監(jiān)管體系不斷完善
自動(dòng)駕駛法規(guī)和行業(yè)標(biāo)準(zhǔn)體系的建設(shè)為端到端大模型的產(chǎn)業(yè)化提供了重要保障。法律法規(guī)與監(jiān)管方面，2023年9月，十四屆全國人大常委會(huì)將《道路交通安全法》修訂工作列入國務(wù)院2024年度立法計(jì)劃，將對自動(dòng)駕駛汽車的道路測試、上路通行、交通違法和事故處理相關(guān)責(zé)任追究等作出詳細(xì)規(guī)定。2023年12月，交通運(yùn)輸部印發(fā)《自動(dòng)駕駛汽車運(yùn)輸安全服務(wù)指南(試行)》，明確自動(dòng)駕駛運(yùn)輸經(jīng)營者、車輛等要求及運(yùn)輸安全保障、監(jiān)督管理等措施，引導(dǎo)并規(guī)范自動(dòng)駕駛汽車在運(yùn)輸服務(wù)領(lǐng)域的應(yīng)用。標(biāo)準(zhǔn)體系方面，2023年5月，工業(yè)和信息化部、國家標(biāo)準(zhǔn)化管理委員會(huì)聯(lián)合發(fā)布《國家車聯(lián)網(wǎng)產(chǎn)業(yè)標(biāo)準(zhǔn)體系建設(shè)指南(智能網(wǎng)聯(lián)汽車)(2023版)，為保障自動(dòng)駕駛產(chǎn)業(yè)高質(zhì)量發(fā)展提供了基本指導(dǎo)。2024年8月，國內(nèi)智能網(wǎng)聯(lián)汽車領(lǐng)域的首批強(qiáng)制性國家標(biāo)準(zhǔn)正式發(fā)布，明確了汽車信息安全、汽車軟件升級的管理體系以及自動(dòng)駕駛數(shù)據(jù)記錄系統(tǒng)等技術(shù)要求和試驗(yàn)方法，為提升自動(dòng)駕駛安全水平、保障產(chǎn)業(yè)健康有序發(fā)展提供有力支撐。
三、總結(jié)與展望
端到端大模型通過深度學(xué)習(xí)和數(shù)據(jù)驅(qū)動(dòng)的方式，打破了傳統(tǒng)自動(dòng)駕駛系統(tǒng)中模塊化處理的局限，整合感知、決策和控制等功能，提高了系統(tǒng)的整體性能和對復(fù)雜環(huán)境的適應(yīng)能力，使自動(dòng)駕駛更加擬人化。但對大量高質(zhì)量數(shù)據(jù)的需求、高性能計(jì)算平臺的依賴及因可解釋性差導(dǎo)致的管理困難，端到端大模型在自動(dòng)駕駛領(lǐng)域的應(yīng)用與普及也面臨著巨大挑戰(zhàn)。隨著更多車企和跨行業(yè)企業(yè)對技術(shù)不斷研發(fā)創(chuàng)新，自動(dòng)駕駛數(shù)據(jù)不斷積累，算力支持不斷強(qiáng)化，法規(guī)與標(biāo)準(zhǔn)體系不斷健全，端到端大模型將助力高階自動(dòng)駕駛的應(yīng)用與普及，推動(dòng)智能網(wǎng)聯(lián)汽車行業(yè)邁向新階段。
楊佳玲
咨詢師
長期專注新能源汽車等領(lǐng)域、完成了北京市汽車產(chǎn)業(yè)相關(guān)的政府、企業(yè)委托咨詢業(yè)務(wù)。
魯 楠
高級經(jīng)濟(jì)師（運(yùn)輸經(jīng)濟(jì)）
中級工程師（經(jīng)濟(jì)技術(shù)）
咨詢工程師（投資）
長期專注新能源汽車及充電基礎(chǔ)設(shè)施、重大技術(shù)裝備等領(lǐng)域。近年來作為主要負(fù)責(zé)人完成了新能源汽車產(chǎn)業(yè)發(fā)展研究、電動(dòng)汽車充電基礎(chǔ)設(shè)施行業(yè)研究、重大技術(shù)裝備發(fā)展研究等大量政府、企業(yè)委托咨詢業(yè)務(wù)，為北京市新能源汽車及充電基礎(chǔ)設(shè)施發(fā)展、智能制造業(yè)發(fā)展建言獻(xiàn)策。
編輯：張 華
審核：孫 磊
