摘要:算力上的提前布局,讓小鵬汽車在國內率先實現(xiàn)端到端智能駕駛大模型量產上車。駕時決勝競賽小鵬汽車認為,小鵬端到端只是汽車開始,不是云端終局,真正的端到端智代何加拿大開獎競賽正在云端展開,云端大模型才是駕時決勝競賽制勝關鍵。擁有強大算力的小鵬阿里云,支撐小鵬汽車端到端大模型的汽車快速迭代。
智能駕駛近兩年的云端提速,端到端技術無疑是端到端智代何關鍵動因。
2024年10月24日,駕時決勝競賽小鵬汽車宣布AI天璣5.4.0正式開啟公測,小鵬并首發(fā)搭載在小鵬P7+上。汽車新版本為小鵬汽車帶來了最強AI智能駕駛功能,云端根據數(shù)據統(tǒng)計,已經享受到公測版的P7+用戶,在用戶滲透率和里程滲透率上均取得了顯著提升。早些時候,小鵬汽車已經完成了國內首個端到端智能駕駛大模型量產上車。
小鵬汽車發(fā)布AI天璣5.4.0系統(tǒng),大幅提升智能駕駛能力
這一系列的成績,源于小鵬汽車多年來全力投入AI的決心。早在2022年,小鵬汽車就率先完成城市導航輔助駕駛(NGP)的落地。當時,小鵬汽車自動駕駛團隊就在思考,是否需要更進一步提升AI泛化能力。同年4月,小鵬汽車開始嘗試對傳統(tǒng)智能駕駛中的感知、融合、加拿大28黑馬預測預測、規(guī)劃、控制、定位等技術模塊進行融合。這也成為小鵬汽車探索端到端大模型的雛形。
小鵬汽車董事長何小鵬在談及端到端智能駕駛大模型時強調,“往后10年、20年,我不知道今天的大模型邏輯是否會適用,但它一定會比之前的算法或規(guī)則模型都要強?!?/p>
智能駕駛新一輪競爭正圍繞算法、算力、數(shù)據三要素展開,出現(xiàn)任何一塊短板,都將引發(fā)木桶效應。這場競賽中,小鵬汽車和阿里云一直在并肩前行。
01.AI席卷智能駕駛,小鵬汽車篤定端到端技術路線
端到端(End-to-End),起初并非源于智能駕駛,而是多用于深度學習領域的一套方法,并且在語音識別、自然語言處理等領域已有比較多的學術研究。其設計原理是神經網絡在學習中不進行分模塊或分階段訓練,直接從輸入數(shù)據到輸出結果,減少人為干預和預處理的需求,類似于encoder-decoder架構。
端到端技術能夠避免傳統(tǒng)人工特征提取中的信息損失,提高模型的效率和準確性,簡化訓練流水線。加拿大黑馬預測
在智能駕駛領域,端到端智能駕駛方案利用統(tǒng)一的深度學習神經網絡,將感知、規(guī)劃與控制等多個功能模塊整合為一體。將攝像頭、傳感器實時采集的原始數(shù)據作為輸入,直接輸出為轉向、加速、制動等駕駛指令,這種一體化架構實現(xiàn)了信息無縫傳輸并降低延遲,讓汽車反應更加順滑。特斯拉在北美率先推出的FSD V12版本,就采用了端到端技術。同樣,小鵬汽車在國內快速推進了端到端智能駕駛。
小鵬汽車選擇的是“云端大模型”路線,通過構建云端大模型,然后將云端大模型蒸餾到車端,在車端進行模型部署。小鵬云端大模型的參數(shù)量是車端的80倍,云端強化訓練后,車端大模型的上限大幅提高。
▲小鵬云端大模型的參數(shù)量是車端的80倍
據小鵬汽車自動駕駛產品高級總監(jiān)袁婷婷介紹,端到端往往包含非常復雜的深度學習網絡。但大模型的黑盒問題導致難以解釋其決策過程和推理邏輯,尤其是表現(xiàn)出不良效果后,不可解釋性還增加了解決和驗證的難度,更無法保證其安全可靠性。
基于此,根據端到端的思路,小鵬汽車隨即推出了“三網合一”架構,其中XNet類似于人的眼睛,對現(xiàn)實世界中的可通行空間進行3D還原;XPlanner類似于人的肌肉和小腦直覺,通過海量數(shù)據的不間斷訓練,優(yōu)化駕駛策略;XBrain類似于人的大腦,會進行更深入的理解和意圖推理,包括時序、環(huán)境、路牌文字等。三網以全局性視角聯(lián)合執(zhí)行駕駛任務,可以對模型進行聯(lián)合預訓練和標注,同時三網又各有側重,出現(xiàn)問題可快速診斷定位,了解模型和系統(tǒng)的缺陷問題。更重要的是,在駕駛安全性上,三網使得系統(tǒng)應對一些特殊、緊急場景的上限變得更高的同時,也需要一定的安全措施保證下限。
在端到端技術的加持下,小鵬汽車整體邁向了以輕地圖、輕雷達、重算力為核心的智能駕駛方案。針對復雜路況,能夠做到點到點的輔助駕駛能力,包括自動通過高速ETC閘機、紅綠燈識別、擁堵路段跟車以及主動變道超車等等。尤其在體驗和流暢性上,用戶基本感覺不到任何斷點。
小鵬汽車自動駕駛產品高級總監(jiān)袁婷婷指出,行業(yè)內一般用記憶泊車VPA(Valet Parking Assist)+NOA(Navigate on Autopilot)城市輔助駕駛的方式來實現(xiàn)車位到車位,這也是小鵬在2021年采用的方案。但使用拼接方案,就會存在卡頓,比如汽車行駛到停車場與公開道路的交匯點時,會因切換軟件導致卡殼現(xiàn)象。
目前行業(yè)內主要有三種端到端技術路線
目前小鵬汽車已經通過端到端智能駕駛大模型對其能力進行了全面升級,在行業(yè)內首個用一套智能駕駛軟件以及基于“端到端大模型”實現(xiàn)“車位到車位”。在最新的測試場景中,車位到車位的整條鏈路——從園區(qū)內、地庫內,到過閘機,再到公開道路的銜接,都能以更加流暢的體驗方式實現(xiàn)。此外,路線規(guī)劃也能夠無感生成,讓駕駛變得更加便捷高效。
“絲滑、篤定、直覺性”這些用于形容老司機開車一樣的駕駛體驗,正在小鵬汽車端到端智能駕駛系統(tǒng)上呈現(xiàn)。
可以看到,端到端的出現(xiàn),突破了原先依靠規(guī)則驅動的智能駕駛研發(fā)體系,至少在當前階段,端到端已是自動駕駛競爭的關鍵技術路徑之一。
02.真正適配智能駕駛的算力底座
多年來在端到端智能駕駛大模型上的投入,模型參數(shù)量的急劇擴張,使得小鵬汽車智能駕駛系統(tǒng)和功能迭代速度持續(xù)加快。
由于當前車端芯片算力的限制,即便采用兩片Orin芯片,能支持的車端模型參數(shù)量依然有限。而云端大模型可以全面吸納智能駕駛數(shù)據,不遺漏重點信息細節(jié)。通過大量數(shù)據訓練,盡可能窮盡智能駕駛中的長尾問題,以覆蓋更多駕駛場景,使XNGP實現(xiàn)L3級的智能駕駛體驗。
訓練一個云端大模型,對大規(guī)模高性能算力以及數(shù)據存儲和處理提出了非常高的要求。其一,提高并行訓練性能和利用率的要求,這對云基礎設施包括網絡互聯(lián)、帶寬,以及系統(tǒng)軟件優(yōu)化等帶來了挑戰(zhàn);其二,對模型訓練持久穩(wěn)定性的要求,比如模型訓練中斷,訓練出現(xiàn)問題后能否快速拉起任務,縮短故障時間;其三,大規(guī)模多模態(tài)數(shù)據的存儲與處理能力,實現(xiàn)并行訓練的高性能、高吞吐,滿足模型訓練不斷提升的數(shù)據量增長需求;其四,海量數(shù)據的存儲成本要求,在滿足數(shù)據處理性能要求的前提下,通過支持數(shù)據分層存儲,實現(xiàn)最優(yōu)的成本。
實現(xiàn)這些要求并非易事。大模型的預訓練需要集群化,構建萬卡甚至更大規(guī)模的集群,且整個集群需要組成一個龐大的“整體”。形象來說,就像每一排都有兩個人且兩人之間把腿綁在一起,共同前進。只有每張GPU卡、每臺機器都以相同的“步伐”前進,才能提升整體的模型訓練效率。
早在2022年,小鵬汽車就與阿里云在烏蘭察布建成了當時中國最大的自動駕駛智算中心“扶搖”,用于自動駕駛模型訓練。“扶搖”依托于阿里云靈駿智算集群構建,該集群是阿里云面向AI時代打造的智能算力基礎設施,支撐了小鵬汽車端到端智能駕駛大模型的快速迭代。
2022年小鵬汽車與阿里云合作建立自動駕駛智算中心
隨著模型規(guī)模擴大到百億甚至千億量級,一次訓練任務需要更多GPU協(xié)同,規(guī)模會放大很多問題。
首先碰到的問題就是擴展集群規(guī)模是否能帶來訓練任務相同倍數(shù)的線性加速。為了將“相同步伐”效率提升到極致,阿里云升級到HPN 7.0網絡架構,把網絡能力推向一個全新的高度。通過3.2Tbps高性能RDMA網絡連接,讓服務器之間的通訊更順暢;自研的擁塞控制算法解決了路由的復雜度和數(shù)據交換的沖突;同時,訓練過程實現(xiàn)自動網絡拓撲感知調度,為大模型訓練自動調度最佳網絡拓撲的計算節(jié)點,從而減少通信開銷,進一步提升訓練效率。
此外,計算和存儲流量分離大大減少存儲IO和計算通信的互相干擾,進而提升了整體GPU集群的計算效率。小鵬汽車在阿里云上的千卡級訓練任務線性加速比可以達到90%以上。
由于訓練任務的特殊性,部件故障會導致整體訓練停滯,如何盡可能早的預測故障,以及發(fā)生故障后系統(tǒng)能快速拉起恢復,是令小鵬汽車自動駕駛技術團隊頭疼的第二個問題。
小鵬汽車自動駕駛中心大數(shù)據管理部負責人Jay提到,“訓練是一個持續(xù)幾十天的過程,當我們的訓練規(guī)模越大,就有可能遇到越多的意外情況,訓練過程中,穩(wěn)定性非常重要?!?/p>
針對這些問題,阿里云技術團隊采取了一系列措施以提高系統(tǒng)的穩(wěn)定性和訓練效率。阿里云提供千卡集群健康檢測能力,可實現(xiàn)對計算集群包括單節(jié)點算力檢查,單節(jié)點內GPU互聯(lián)檢查,多節(jié)點互聯(lián)檢查等,實現(xiàn)在訓練前、訓練中和故障后及時發(fā)現(xiàn)問題節(jié)點,并通過AI助手設置運維策略,保障集群整體資源穩(wěn)定可用。同時,配置節(jié)點分鐘級自動自愈能力以及秒級的訓練進度保存機制,實現(xiàn)故障后任務仍可以自動恢復,并以無損的訓練進度實現(xiàn)續(xù)訓,從而節(jié)約訓練時間、降低訓練成本。
今年,小鵬汽車也開始使用阿里云容器計算服務ACS,該服務為小鵬提供基礎設施全托管算力服務,無需管理和維護底層服務務器,即使遇到服務器發(fā)生故障,應用也能迅速切換到其他服務器,確保模型訓練的連續(xù)運行。
小鵬汽車在云端加速智能創(chuàng)新
智能駕駛模型的演進迭代需要海量數(shù)據,過程中的數(shù)據采集、挖掘、處理,又同樣對存儲、數(shù)據處理能力提出了更高要求。
截至今年9月小鵬汽車公開數(shù)據顯示,小鵬汽車使用了折算里程超10億+公里的視頻訓練,累計646萬公里、1972個城市和區(qū)縣的實車測試,以及累計2.16億公里、2.2萬核心模擬場景、5.8萬專業(yè)模擬場景的仿真測試。
阿里云把內存、本地磁盤、CPFS高性能并行文件存儲以及OSS對象存儲等形成一個完整的階梯型存儲架構,進行統(tǒng)一的管理,把熱數(shù)據放在延遲最低的存儲上面,并實現(xiàn)冷熱數(shù)據的自動流轉,不斷提升存儲的使用效率,降低存儲成本。
數(shù)據的積累屬于基礎,更重要的是讓數(shù)據有效轉起來。小鵬汽車通過自研工具鏈結合阿里云大數(shù)據平臺、數(shù)據庫服務等實現(xiàn)全棧數(shù)據閉環(huán),對數(shù)據的清洗處理以及高效的挖掘,數(shù)據的高效流轉,端到端大模型的大規(guī)模分布式訓練,實現(xiàn)測試階段實車測試與仿真測試并重,加快迭代節(jié)奏,推動智能駕駛技術的快速發(fā)展。
小鵬汽車自動駕駛中心大數(shù)據管理部負責人Jay表示:“明年小鵬整體的數(shù)據量將迎來大幅度提高,更需要云基礎設施做很好的承載?!?/p>
03. 當智能駕駛的熱情被點燃
何小鵬曾說過:“小鵬從創(chuàng)始之初就一直致力于做中國的自動駕駛第一?!?/p>
通過“All in AI”,小鵬汽車不僅率先實現(xiàn)端到端智能駕駛大模型量產上車,根據“端到端四部曲”規(guī)劃,在未來兩年,小鵬還將基于L2的硬件和成本實現(xiàn)L3+的用戶體驗,并最終通往L4無人駕駛。
小鵬汽車自動駕駛負責人李力耘曾在接受采訪時表示,端到端時代,好似從冷兵器時代來到熱兵器時代。過去的輔助駕駛時代是“冷兵器時代”,只要湊齊了武林高手就可以打。但熱兵器時代需要更大的算力、更多的數(shù)據、讓算力和數(shù)據流轉起來的機制和工程能力。擁有強大算力的阿里云,也將持續(xù)支撐小鵬汽車端到端大模型的快速迭代。(內容參考《云棲戰(zhàn)略參考》)
上一篇:1820mm超長貨箱 全新一代鈴拓帶你高效創(chuàng)富