世界模型的“理想圖景”與“現(xiàn)實(shí)落地”。

文｜肖漫

編輯｜李勤

過(guò)去兩三年，車企談及智能駕駛時(shí)，總會(huì)拋出各類新穎技術(shù)名詞。

世界模型是繼端到端、VLA之后，智駕領(lǐng)域最熱門的概念。不同企業(yè)還給它賦予了獨(dú)特名稱——小鵬推出“世界基座模型”、蔚來(lái)提出“端到端世界模型”、華為打造“世界行為模型”（WA）。此外，地平線、理想、元戎啟行、Momenta等企業(yè)也在布局世界模型相關(guān)技術(shù)。

但僅看企業(yè)發(fā)布會(huì)，很難分辨這些“世界模型”是否為同一技術(shù)；它究竟解決什么問(wèn)題，又在智能駕駛架構(gòu)中處于什么位置？

從廣義語(yǔ)境來(lái)看，“世界模型”本質(zhì)是在虛擬空間重建真實(shí)世界，讓人工智能能像人類一樣理解現(xiàn)實(shí)，認(rèn)知物理規(guī)律、事物因果關(guān)系及環(huán)境動(dòng)態(tài)變化的技術(shù)。

世界模型被多數(shù)科學(xué)家和科技公司視為“物理世界AI”發(fā)展的關(guān)鍵。斯坦福大學(xué)教授李飛飛曾表示，空間智能是AI的下一個(gè)十年，而世界模型是構(gòu)建空間智能的核心技術(shù)。

前沿科學(xué)家和企業(yè)仍在探索，但中國(guó)汽車行業(yè)已用各類新穎概念占據(jù)了賽道位置。

實(shí)際上，當(dāng)前智駕行業(yè)的“世界模型”只是名詞表述不同，技術(shù)路徑差異不大。它是對(duì)原有仿真工具的技術(shù)范式升級(jí)，通過(guò)還原度、顆粒度更高，場(chǎng)景更豐富、自由度更強(qiáng)的虛擬世界，解決端到端模型的測(cè)試與驗(yàn)證問(wèn)題，最終目標(biāo)是訓(xùn)練出更高效、更擬人化的端到端智駕模型。

簡(jiǎn)單來(lái)說(shuō)，智駕廠商和車企并非打造完整的數(shù)字物理世界，只是用世界模型的思路構(gòu)建仿真器。

盡管各家對(duì)世界模型的期待不同，但據(jù)了解，目前智駕行業(yè)的世界模型僅應(yīng)用于云端，尚未實(shí)現(xiàn)在汽車端的部署。

端到端普及，暴露傳統(tǒng)仿真器不足

過(guò)去兩三年，頭部智駕方案從規(guī)則棧轉(zhuǎn)向AI驅(qū)動(dòng)，在形式上實(shí)現(xiàn)統(tǒng)一：將感知、預(yù)測(cè)、規(guī)劃盡可能整合到一個(gè)網(wǎng)絡(luò)中，搭配更大模型和更高算力。正如車企發(fā)布會(huì)上常說(shuō)的，“端到端后的智駕更像人開車”。

但實(shí)際應(yīng)用中出現(xiàn)了反直覺現(xiàn)象：端到端后的新版本OTA不一定更優(yōu)，甚至可能“退步”。

問(wèn)題核心并非模型變差，而是AI驅(qū)動(dòng)讓評(píng)估與回歸更困難。

此前許多智駕從業(yè)者認(rèn)為，只要前端訓(xùn)練足夠好，車輛就能像人一樣駕駛。這條路徑初期效果顯著，讓從業(yè)者震撼，但端到端的“黑盒”特性也帶來(lái)副作用：模型出錯(cuò)時(shí)，研發(fā)人員難以知曉原因，也無(wú)法證明下次不會(huì)再犯。

模型優(yōu)劣不再僅取決于“訓(xùn)練規(guī)模和數(shù)據(jù)量”，更在于能否發(fā)現(xiàn)、定義和驗(yàn)證問(wèn)題。廠商逐漸意識(shí)到，需要更優(yōu)的仿真器在模型驗(yàn)證階段評(píng)估其表現(xiàn)。

頭部企業(yè)大多將世界模型作為仿真器應(yīng)用。為讓理想VLA在仿真環(huán)境中進(jìn)行強(qiáng)化學(xué)習(xí)，理想在2025年提出包含自車和他車軌跡的駕駛世界模型，充當(dāng)“打分老師”；小鵬雖對(duì)外提及“世界基座模型”這一與世界模型本質(zhì)無(wú)關(guān)的名詞，但據(jù)36氪汽車了解，其也在利用世界模型進(jìn)行仿真測(cè)試，評(píng)測(cè)新版本模型算法能力。

端到端的普及凸顯了傳統(tǒng)仿真器的短板。“以前端到端未普及，驗(yàn)證成本不高，還能分段驗(yàn)證系統(tǒng)。但端到端后無(wú)法分段驗(yàn)證，仿真器的問(wèn)題就暴露了。”一位業(yè)內(nèi)研發(fā)人員表示。

在規(guī)則時(shí)代，車企做仿真主要服務(wù)兩件事：一是重現(xiàn)半路接管的問(wèn)題，回放路測(cè)中出現(xiàn)問(wèn)題的片段；二是通過(guò)仿真器增加corner case的數(shù)據(jù)豐富度，在模擬器中搭建典型路口、橫穿行人、加塞車輛等腳本場(chǎng)景，讓系統(tǒng)運(yùn)行測(cè)試。

當(dāng)時(shí)的仿真器更像“放大鏡”，但端到端后，模型責(zé)任難以拆分，也難以系統(tǒng)性生成更細(xì)致、可控的corner case，更無(wú)法支撐端到端所需的大規(guī)模閉環(huán)驗(yàn)證——這正是引入世界模型的原因。

端到端時(shí)代，世界模型是智駕模型的“教練”

“目前國(guó)內(nèi)車企世界模型的水平與特斯拉存在一定差距，但相差不到一年時(shí)間。”一位業(yè)內(nèi)人士稱。

特斯拉未使用“世界模型”概念，而是提出“世界模擬器”（去年ICCV上由特斯拉自動(dòng)駕駛副總裁Ashok Elluswamy首次提及）。該模擬器基于特斯拉自建的海量數(shù)據(jù)集訓(xùn)練，能根據(jù)當(dāng)前狀態(tài)和下一步動(dòng)作生成未來(lái)狀態(tài)，與車端端到端基礎(chǔ)模型形成閉環(huán)，進(jìn)行真實(shí)效果評(píng)估。

一位業(yè)內(nèi)人士指出，特斯拉更傾向用神經(jīng)網(wǎng)絡(luò)“擬合”世界，渲染過(guò)程通過(guò)計(jì)算生成，盡量減少顯式物理規(guī)則堆疊；素材庫(kù)并非完全由人預(yù)定義，而是保留了概率權(quán)重與組合空間，這樣能增強(qiáng)模型的泛化能力。

國(guó)內(nèi)車企多選擇更“可控”的路線。與36氪汽車交流的一家供應(yīng)商表示，理想采用3D高斯重建——這也是目前多數(shù)車企采用的方式之一。

無(wú)論哪種路線，世界模型在工程上最終指向同一方向：車企將其作為端到端時(shí)代的“驗(yàn)證與反證系統(tǒng)”，在云端重放、改寫、擴(kuò)增現(xiàn)實(shí)駕駛中可能出現(xiàn)的情境，檢驗(yàn)車端大模型輸出是否穩(wěn)定、可復(fù)現(xiàn)，并讓“哪里錯(cuò)、為什么錯(cuò)”重新成為可追蹤的證據(jù)鏈。

世界模型的角色類似教練員，優(yōu)秀的教練能培養(yǎng)出優(yōu)秀的運(yùn)動(dòng)員?！半S著云端世界模型不斷增強(qiáng)，理論上車端模型的能力也會(huì)越來(lái)越強(qiáng)?！币晃谎邪l(fā)人員說(shuō)。

世界模型的核心能力主要有兩方面：一是對(duì)物理世界的數(shù)字化建模與抽象；二是基于建模，對(duì)物理世界進(jìn)行合理想象和預(yù)測(cè)，比如通過(guò)給定圖片預(yù)測(cè)未來(lái)世界的變化。

世界模型的好壞取決于能否在云端生成足夠真實(shí)、多樣的數(shù)據(jù)?！叭绻嚻笾皇怯貌杉恼鎸?shí)數(shù)據(jù)做仿真，那不是在做世界模型，只是一套回放數(shù)據(jù)的流程?！币晃还?yīng)商產(chǎn)品經(jīng)理表示。

世界模型需要從物理世界數(shù)據(jù)中學(xué)習(xí)運(yùn)行模式，因此訓(xùn)練數(shù)據(jù)質(zhì)量會(huì)顯著影響生成質(zhì)量。極佳視界產(chǎn)品線負(fù)責(zé)人毛繼明提到：“對(duì)于世界模型這類生成模型，生成結(jié)果最終會(huì)對(duì)齊輸入數(shù)據(jù)的特征分布規(guī)律。在真實(shí)商業(yè)化過(guò)程中發(fā)現(xiàn)，如果數(shù)據(jù)質(zhì)量只有60分，基于此的世界模型生成數(shù)據(jù)質(zhì)量可能只有55分?！?/p>

借助世界模型，車企在云端做仿真時(shí)，可從各維度無(wú)限生成所需場(chǎng)景，還能根據(jù)指令生成視頻作為訓(xùn)練數(shù)據(jù)?！靶时日鎸?shí)采集后再訓(xùn)練高很多，模型迭代速度會(huì)實(shí)現(xiàn)斷代式領(lǐng)先?！币晃还?yīng)商研發(fā)人員稱。

但這些都是理想化結(jié)果。“世界模型相比智駕用的仿真器，或不用仿真信息僅用離線數(shù)據(jù)驗(yàn)證，已是很大升級(jí)，但距離理想仿真器還有差距?！?/p>

世界模型算法尚未成熟，仍存“幻覺”問(wèn)題

行業(yè)目前普遍處于起步階段。

一位車企研發(fā)人員告訴36氪汽車，國(guó)內(nèi)廠商基于世界模型最長(zhǎng)能生成30-60秒的視頻片段，但動(dòng)態(tài)物體的一致性不佳，時(shí)空一致性和多視角一致性都存在較大問(wèn)題。

世界模型底層是生成式模型，天生存在“幻覺”風(fēng)險(xiǎn)?！澳壳笆澜缒Ｐ妥铍y的是保證生成內(nèi)容的真實(shí)性，比如生成的人，其行為、軌跡要符合真實(shí)世界邏輯。”一位供應(yīng)商產(chǎn)品經(jīng)理表示，“如果世界模型生成錯(cuò)亂，會(huì)導(dǎo)致模型學(xué)到錯(cuò)誤信息，進(jìn)而讓車端模型效果變差?！?/p>

一個(gè)極端例子：如果云端生成的車都是橫著走的，模型會(huì)認(rèn)為左前方的車會(huì)瞬間移動(dòng)到右前方，實(shí)際駕駛中可能做出剎車動(dòng)作。

若仿真器無(wú)法逼近現(xiàn)實(shí)世界的關(guān)鍵因果關(guān)系，比如濕滑路面對(duì)制動(dòng)距離的影響、逆光下靜止物體的誤檢概率、并線時(shí)對(duì)方車輛的博弈策略等，生成的“corner case”可能是虛假的；在假問(wèn)題上優(yōu)化，等于浪費(fèi)研發(fā)資源在幻影上。

很多人認(rèn)為世界模型的瓶頸在數(shù)據(jù)與算力，但前理想汽車輔助駕駛“端到端”模型負(fù)責(zé)人夏中譜更認(rèn)同Lecun的觀點(diǎn)：“世界模型算法層面沒有大突破，圖像模型的自監(jiān)督訓(xùn)練還未找到像語(yǔ)言模型那樣順暢的范式。”

語(yǔ)言模型能快速規(guī)?；?，原因之一是語(yǔ)言信息密度高，每個(gè)詞都有明確語(yǔ)義約束。而圖像信息密度低，對(duì)“駕駛決策”而言，有用信息占比極小。

例如，模型無(wú)需預(yù)測(cè)正后方遠(yuǎn)處車輛的軌跡，也無(wú)需預(yù)測(cè)遠(yuǎn)處建筑物的變化，這些都是噪聲數(shù)據(jù)；但必須預(yù)測(cè)本車道前車是否會(huì)急剎、旁車是否會(huì)搶道、行人是否會(huì)橫穿，模型要先知道“該關(guān)注什么”。

“目前智駕算法無(wú)法提取足夠?qū)︸{駛有用的圖像信息。”夏中譜說(shuō)。一張圖像可能有上百萬(wàn)像素點(diǎn)，但與決策相關(guān)的僅20多個(gè)，其他都是噪聲，模型需先學(xué)會(huì)從噪聲中抓取1‰甚至1?的有效信號(hào)，再將信號(hào)組織成可用于推理和預(yù)測(cè)的結(jié)構(gòu)。

在夏中譜看來(lái)，世界模型算法尚未突破，更談不上數(shù)據(jù)是否足夠、算力是否充足的問(wèn)題。正因基礎(chǔ)技術(shù)無(wú)明確突破，車企投入多為研究性質(zhì)，部分車企老板對(duì)此也很迷茫。

若世界模型足夠好且算力支撐，是可以部署到車端的?！皣?guó)內(nèi)現(xiàn)在基本把世界模型當(dāng)仿真系統(tǒng)用，對(duì)智駕決策層面的技術(shù)理解還不夠。”夏中譜表示。

這也解釋了一個(gè)表面矛盾：為何各家都在講世界模型，但用戶體感差異不明顯——因?yàn)槎鄶?shù)企業(yè)的世界模型仍停留在“訓(xùn)練與驗(yàn)證”的第一階段，尚未進(jìn)入“支撐決策規(guī)劃”的第二階段。

“在車端部署世界模型是最難的?！毕闹凶V說(shuō)。

目前尚無(wú)企業(yè)在車端應(yīng)用世界模型。他同時(shí)指出：“用大模型方法建模物理世界，通過(guò)與物理世界交互預(yù)測(cè)發(fā)展變化，進(jìn)而通過(guò)決策讓世界朝有利方向發(fā)展。若世界模型能做到這一步，自動(dòng)駕駛和機(jī)器人相關(guān)問(wèn)題都能解決。”

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com