柔體操作數(shù)據(jù)稀缺、仿真易失真?新研究實現(xiàn)布料物理真實模擬,純仿真訓(xùn)練策略可零樣本遷移至真機

具身智能發(fā)展迅速,但瓶頸日益明顯:并非模型不夠大,而是高質(zhì)量、可執(zhí)行、可泛化的數(shù)據(jù)匱乏。柔體操作更是數(shù)據(jù)稀缺的重災(zāi)區(qū),其狀態(tài)空間龐大,涉及形變、接觸和拓撲變化,依賴復(fù)雜物理過程;人工遙操作效率低、成本高,導(dǎo)致真實數(shù)據(jù)始終“夠用卻不足夠多”。在此背景下,SIM1聚焦的核心問題并非“能否生成更多仿真數(shù)據(jù)”,而是“數(shù)據(jù)需先準確,數(shù)據(jù)擴增的價值才能真正體現(xiàn)”。
仿真曾被視為解決機器人數(shù)據(jù)稀缺的有效方案,期望用“海量仿真數(shù)據(jù)”填補真實世界的數(shù)據(jù)缺口。但很快問題顯現(xiàn):這些仿真數(shù)據(jù)看似數(shù)量龐大,卻未與真實場景對齊,僅能用于預(yù)訓(xùn)練,難以直接部署;進入真實機器人場景后,仍需依賴后訓(xùn)練和真實數(shù)據(jù)修正。這引發(fā)了對“仿真數(shù)據(jù)極限是否僅止于此”的質(zhì)疑。SIM1提出,或許此前大家過度追求“更多”,卻忽略了關(guān)鍵前提——數(shù)據(jù)首先要準確,規(guī)模效應(yīng)才能顯現(xiàn)。
SIM1構(gòu)建了real-to-sim-to-real的新范式:從少量真實示范出發(fā),生成可直接在真實物理世界執(zhí)行的仿真數(shù)據(jù),最終轉(zhuǎn)化為可部署、可擴展、可零樣本遷移的策略能力。這意味著機器人領(lǐng)域首次有機會探討專屬的規(guī)模法則——智能增長不必再與真實世界數(shù)據(jù)采集同步。
SIM1的實際成果
結(jié)果顯示,SIM1能將少量示范擴展為100倍規(guī)模的軌跡數(shù)據(jù);純仿真訓(xùn)練的零樣本成功率達90%;泛化能力較真實數(shù)據(jù)基準提升50%;從零訓(xùn)練也能實現(xiàn)76%的成功率。同時,它還帶來顯著效率優(yōu)勢,成本降低27倍,訓(xùn)練速度提升6.8倍。這些成果表明,SIM1并非“打造更大的仿真數(shù)據(jù)集”,而是重新定義數(shù)據(jù)生產(chǎn)方式:數(shù)據(jù)不再依賴人工逐條采集,而是從少量種子出發(fā),通過對齊現(xiàn)實自動擴展。
sim-to-real失敗的根源
長期被忽視的關(guān)鍵在于,sim-to-real差距并非單點問題,而是幾何、物理與運動三重錯配的疊加。幾何決定空間結(jié)構(gòu)是否一致,物理影響交互響應(yīng)是否可信,運動關(guān)乎軌跡是否符合真實操作的時序與節(jié)奏。三者缺一不可,任意一環(huán)未打通,訓(xùn)練出的策略就難以在真實世界有效執(zhí)行,只能局限于仿真環(huán)境的理想表現(xiàn)。
SIM1的出發(fā)點是同時彌合這三重錯配,將數(shù)據(jù)生成鏈路重構(gòu)為閉環(huán):從真實場景出發(fā),復(fù)刻高保真仿真環(huán)境,在物理一致的前提下擴展大規(guī)模操作數(shù)據(jù),最終回流至真實世界驗證與部署。仿真不再是現(xiàn)實的近似,而是現(xiàn)實的可擴展表達。
SIM1的閉環(huán)流程:掃描、模擬、擴展
SIM1是一套完整的數(shù)據(jù)引擎,包含三個步驟:第一步“掃描”,通過亞毫米級掃描將真實柔體與場景重建為高精度數(shù)字孿生,不同于傳統(tǒng)粗粒度建模,它力求保留真實環(huán)境的幾何結(jié)構(gòu)、褶皺紋理和精確空間關(guān)系,讓仿真起點基于現(xiàn)實;第二步“模擬”,構(gòu)建與真實交互對齊的物理系統(tǒng),使機器人在仿真中的作用方式、布料響應(yīng)及形變動力學(xué)貼近真實世界,將仿真系統(tǒng)校準為可靠的數(shù)據(jù)生成器;第三步“擴展”,引入生成式方法擴展操作數(shù)據(jù),把抓取、提起、折疊、釋放等基礎(chǔ)操作作為可組合的動作詞匯,由模型學(xué)習(xí)拼接、重組與延展,生成平滑多樣的新軌跡,配合材質(zhì)、光照和視角的隨機變化,將少量演示擴展為數(shù)萬條可執(zhí)行數(shù)據(jù)。
核心突破:讓仿真精準“認知”布料
若說SIM1的閉環(huán)解決了“數(shù)據(jù)來源”問題,Deformation-Stable Solver則攻克了“仿真在布料上易失真”的難題。布料操作的難點在于,真實世界的形變響應(yīng)是全局、快速且強耦合的,局部拉伸會在極短時間內(nèi)影響整個表面。傳統(tǒng)仿真易出現(xiàn)延遲傳播、粒子漂移、局部抖動甚至過拉伸偽影。SIM1的關(guān)鍵設(shè)計是將布料從“局部粒子系統(tǒng)”升級為“全局響應(yīng)系統(tǒng)”,當局部拉伸超過閾值時,修正力在單步內(nèi)傳播至整個網(wǎng)格,保持形變的一致性與穩(wěn)定性。這不僅讓畫面更穩(wěn)定,更重要的是使仿真首次真正遵循布料物理規(guī)律,對于依賴形變與接觸的操作任務(wù),這種全局一致性直接決定仿真數(shù)據(jù)能否成為有效訓(xùn)練信號。
從手工采集到自動化數(shù)據(jù)工廠
當前機器人數(shù)據(jù)采集仍處于“手工業(yè)階段”,操作員一次演示生成一條軌跡,成本高且難以覆蓋豐富變化,任務(wù)復(fù)雜度提升后數(shù)據(jù)迅速稀缺、昂貴且不可擴展。SIM1的思路是將鏈路重構(gòu)為自動化數(shù)據(jù)工廠:以約200條遙操作演示為起點,提取基礎(chǔ)操作片段作為“動作模板”,通過生成模型組合、重排與擴展,生成新操作軌跡;同時在材質(zhì)、光照與視角等方面引入系統(tǒng)性變化,拓展數(shù)據(jù)分布,最終將幾十條演示擴展為數(shù)萬條有執(zhí)行意義的軌跡數(shù)據(jù)。這并非簡單的數(shù)據(jù)放大,而是范式轉(zhuǎn)變:從“人工采集”轉(zhuǎn)向“組合生成”,從“有限覆蓋”走向“可控擴展”。SIM1的價值在于,它是持續(xù)生成、可學(xué)習(xí)、可復(fù)用、可擴展訓(xùn)練信號的數(shù)據(jù)引擎,而非一次性產(chǎn)出樣本的工具。
仿真數(shù)據(jù)能否替代真實數(shù)據(jù)?
SIM1給出的答案是:不僅可以,部分場景下甚至更優(yōu)。相同數(shù)據(jù)規(guī)模下,SIM1訓(xùn)練的策略零樣本成功率高,真實部署中執(zhí)行穩(wěn)定;在分布外場景(如空間、材質(zhì)或光照變化)中,優(yōu)勢更明顯。原因在于真實數(shù)據(jù)天然稀缺,僅能覆蓋有限采樣點;而仿真數(shù)據(jù)若足夠?qū)R現(xiàn)實,可對任務(wù)分布進行更廣泛、系統(tǒng)的覆蓋。SIM1的價值不是替代真實數(shù)據(jù)的“少量精細”,而是補足其難以實現(xiàn)的“廣泛覆蓋”。更極端的驗證是從零訓(xùn)練:僅用真實數(shù)據(jù)時策略幾乎無法起步,僅用SIM1數(shù)據(jù)仍能學(xué)出有效策略并達到可觀成功率,說明性能提升關(guān)鍵在于數(shù)據(jù)分布本身。
真實世界驗證與項目意義
SIM1的最終目標是回到真實機器人驗證。多任務(wù)、多場景的真機實驗表明,基于SIM1訓(xùn)練的策略能穩(wěn)定執(zhí)行,在不同條件下保持強泛化能力,證明SIM1并非構(gòu)造“更漂亮的仿真世界”,而是建立通向現(xiàn)實的訓(xùn)練路徑。從宏觀角度看,SIM1代表新的數(shù)據(jù)范式:仿真不再僅是現(xiàn)實的代理,而是現(xiàn)實數(shù)據(jù)的一部分;機器人不必等真實數(shù)據(jù)積累足夠多,就能獲得規(guī)?;芰?。人類提供起點后,擴展、生成與學(xué)習(xí)可由系統(tǒng)自動完成。SIM1不僅是一種方法,更是宣言:當仿真真正成為現(xiàn)實本身,機器人數(shù)據(jù)的天花板將被重新定義。
項目上線后迅速引發(fā)關(guān)注,在X平臺發(fā)布17小時瀏覽量突破20K,獲245點贊,引發(fā)VBD作者Anka、Newton項目作者Eric Heiden、SoftMimicGen作者Masoud Moghani及NVIDIA GEAR、DeepMind、Stanford、CMU、Princeton等機構(gòu)研究者的討論與互動。

項目主頁:https://internrobotics.github.io/sim1.github.io/
論文地址:https://huggingface.co/papers/2604.08544
本文來自微信公眾號“量子位”,作者:非羊,36氪經(jīng)授權(quán)發(fā)布。
本文僅代表作者觀點,版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請在文中注明來源及作者名字。
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請及時與我們聯(lián)系進行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com






