為醫(yī)生減輕負(fù)擔(dān)。

試想一下，一位放射科醫(yī)生平均要花20分鐘，仔細(xì)查看數(shù)百?gòu)埱衅?，才能完成一次腹部CT的解讀。

在全球范圍內(nèi)，這樣的情況每年會(huì)發(fā)生3億次，僅腹部CT的數(shù)量就占總量的四分之一。但和海量的影像需求形成鮮明對(duì)比的是嚴(yán)重的人力危機(jī)：預(yù)計(jì)到2036年，全球放射科醫(yī)生的缺口將超過(guò)19000人。

AI能成為幫手嗎？可惜的是，現(xiàn)有的醫(yī)學(xué)AI大多還處于平面階段。它們多基于2D圖像構(gòu)建，很難真正理解CT掃描復(fù)雜的3D體積特性，而且極度依賴昂貴的人工標(biāo)注，泛化能力也很有限。

如今，斯坦福大學(xué)的研究團(tuán)隊(duì)在Nature期刊上發(fā)表了一項(xiàng)重大成果：一個(gè)名為Merlin的3D視覺-語(yǔ)言模型（VLM），不僅能原生處理3D體積數(shù)據(jù)，還在不需要額外人工標(biāo)注的情況下，展現(xiàn)出超過(guò)傳統(tǒng)模型的出色臨床能力，為醫(yī)學(xué)影像分析帶來(lái)了全新的模式。

論文鏈接：https://www.nature.com/articles/s41586-026-10181-8

研究結(jié)果顯示，Merlin不僅能輔助腹部CT掃描的判讀，減輕放射科醫(yī)生的工作負(fù)擔(dān)，還能為未來(lái)生物標(biāo)志物的發(fā)現(xiàn)和疾病風(fēng)險(xiǎn)分層創(chuàng)造價(jià)值。

Merlin是什么？能做什么？

Merlin是一個(gè)原生3D視覺語(yǔ)言模型（3D VLM）。它的核心能力是直接理解和處理完整的腹部CT容積數(shù)據(jù)。它可以同時(shí)融合三種不同維度的臨床信息，也就是體積CT掃描、電子健康記錄（EHR）里的診斷代碼，以及放射科醫(yī)生寫的自由文本報(bào)告。

在訓(xùn)練策略方面，Merlin采用了高效的弱監(jiān)督學(xué)習(xí)框架，完全避免了對(duì)昂貴人工標(biāo)注數(shù)據(jù)的依賴。這種方法直接挖掘并利用醫(yī)院在常規(guī)診療過(guò)程中自然產(chǎn)生的大量現(xiàn)有數(shù)據(jù)，即結(jié)構(gòu)化的EHR診斷代碼和非結(jié)構(gòu)化的放射科報(bào)告，把它們作為監(jiān)督信號(hào)來(lái)推動(dòng)模型學(xué)習(xí)。具體的訓(xùn)練數(shù)據(jù)規(guī)模非常大，包含來(lái)自15331次CT掃描的超過(guò)600萬(wàn)張圖像、180萬(wàn)個(gè)診斷代碼和600萬(wàn)個(gè)文本標(biāo)記。通過(guò)對(duì)這些現(xiàn)有數(shù)據(jù)的挖掘，Merlin實(shí)現(xiàn)了自我學(xué)習(xí)，大大降低了數(shù)據(jù)獲取的門檻和成本。

圖 | Merlin訓(xùn)練與評(píng)估概述。

Merlin的核心優(yōu)勢(shì)

研究團(tuán)隊(duì)在涵蓋六大類任務(wù)、共752個(gè)具體子任務(wù)的基準(zhǔn)測(cè)試中，對(duì)Merlin進(jìn)行了全面評(píng)估，結(jié)果證明它具有超過(guò)傳統(tǒng)方法的綜合性能。

零樣本分類測(cè)試表明，Merlin能直接識(shí)別30種常見的腹部影像表現(xiàn)，內(nèi)部驗(yàn)證集的F1分?jǐn)?shù)高達(dá)0.741，在包含椎體骨折檢測(cè)的外部驗(yàn)證中也達(dá)到了0.767。在跨模態(tài)檢索任務(wù)中，不管是“從圖像檢索發(fā)現(xiàn)”還是“從發(fā)現(xiàn)檢索圖像”，Merlin的準(zhǔn)確率都明顯優(yōu)于OpenCLIP等現(xiàn)有的2D視覺-語(yǔ)言模型。另外，Merlin還能利用CT圖像直接預(yù)測(cè)692種臨床表型，平均AUROC達(dá)到0.81，其中15%的表型預(yù)測(cè)準(zhǔn)確率甚至超過(guò)了0.9。

在經(jīng)過(guò)微調(diào)的模型適應(yīng)任務(wù)中，Merlin同樣表現(xiàn)突出。在疾病預(yù)測(cè)方面，即使只使用少量標(biāo)簽，Merlin也能準(zhǔn)確預(yù)測(cè)患者未來(lái)5年內(nèi)患慢性病的風(fēng)險(xiǎn)。在放射科報(bào)告生成任務(wù)上，Merlin生成的報(bào)告在結(jié)構(gòu)完整性和質(zhì)量上都比現(xiàn)有的RadFM等基線模型好。值得一提的是，在3D語(yǔ)義分割任務(wù)中，當(dāng)只使用10%的訓(xùn)練數(shù)據(jù)時(shí)，Merlin的分割效果已經(jīng)超過(guò)了專業(yè)分割模型nnU-Net，顯示出它在低數(shù)據(jù)資源環(huán)境下的巨大優(yōu)勢(shì)。

圖 | 零樣本分類的實(shí)現(xiàn)過(guò)程，通過(guò)對(duì)比疾病存在提示和疾病不存在提示的文本嵌入與圖像嵌入。

除了在內(nèi)部測(cè)試集上的優(yōu)秀表現(xiàn)，Merlin在嚴(yán)格的驗(yàn)證環(huán)節(jié)中也顯示出強(qiáng)大的魯棒性和泛化潛力。

在外部泛化能力測(cè)試中，研究團(tuán)隊(duì)在3個(gè)外部醫(yī)療機(jī)構(gòu)的44098次CT掃描上對(duì)模型進(jìn)行了驗(yàn)證。結(jié)果顯示，即使面對(duì)來(lái)自不同設(shè)備制造商、不同患者人群分布以及不同醫(yī)生報(bào)告風(fēng)格的數(shù)據(jù)分布差異挑戰(zhàn)，Merlin仍然保持了高性能，沒有出現(xiàn)明顯的性能下降，證明了它應(yīng)對(duì)真實(shí)世界復(fù)雜環(huán)境的穩(wěn)定性。

更讓人關(guān)注的是，Merlin表現(xiàn)出了驚人的跨解剖部位泛化能力。雖然這個(gè)模型只在腹部CT數(shù)據(jù)上進(jìn)行訓(xùn)練，但在胸部CT的測(cè)試評(píng)估中，它的表現(xiàn)擊敗了專門針對(duì)胸部CT訓(xùn)練的基礎(chǔ)模型。這一結(jié)果有力地證明了Merlin所學(xué)到的3D特征表征具有很強(qiáng)的通用性和遷移能力，讓它有潛力解決多種醫(yī)學(xué)影像問題。

圖 | 腹部與胸部CT掃描的外部驗(yàn)證。這些結(jié)果證明了Merlin在來(lái)自外部站點(diǎn)的44098例腹部和胸部CT掃描中的出色性能。

這種全面的優(yōu)越性在嚴(yán)格的橫向?qū)Ρ戎械玫搅诉M(jìn)一步證實(shí)。通過(guò)與最先進(jìn)的微調(diào)2D VLM、2D到3D升維VLM以及僅3D視覺模型進(jìn)行系統(tǒng)比較，結(jié)果清楚地表明：Merlin的視覺-語(yǔ)言預(yù)訓(xùn)練策略明顯優(yōu)于僅視覺預(yù)訓(xùn)練。不管是在數(shù)據(jù)稀缺還是全監(jiān)督的設(shè)置下，Merlin的性能都全面超過(guò)其他基線模型。

圖 | 替代架構(gòu)實(shí)驗(yàn)。a–c，基線模型包括五個(gè)二維視覺語(yǔ)言模型（2D VLMs）(a)、三個(gè)二維到三維提升的視覺語(yǔ)言模型（2D-to-3D lifted VLMs）(b)以及兩個(gè)純?nèi)S視覺模型（3D vision-only models）(c)，用于評(píng)估Merlin數(shù)據(jù)集的不同訓(xùn)練策略?；€模型作為與Merlin數(shù)據(jù)集的對(duì)比基準(zhǔn)?；€模型的訓(xùn)練流程也進(jìn)行了說(shuō)明。

意義與展望

Merlin的出現(xiàn)不只是一次技術(shù)上的成功，更預(yù)示著臨床工作流程的深刻變革。

在實(shí)際應(yīng)用方面，這個(gè)模型有望成為放射科醫(yī)生的得力助手，通過(guò)自動(dòng)化生成結(jié)構(gòu)化報(bào)告、輔助進(jìn)行準(zhǔn)確的診斷編碼（ICD編碼）以及快速檢索相似歷史病例，大大減少因重復(fù)性勞動(dòng)帶來(lái)的工作負(fù)荷，并有效降低人為計(jì)費(fèi)錯(cuò)誤。更重要的是，Merlin表現(xiàn)出了超過(guò)人類視覺局限的潛力。它能從復(fù)雜的3D體積數(shù)據(jù)中深入挖掘出那些在常規(guī)閱片過(guò)程中容易被忽視的早期疾病生物標(biāo)志物。

從行業(yè)發(fā)展的宏觀角度來(lái)看，Merlin的研究成果為醫(yī)學(xué)人工智能的訓(xùn)練模式提供了重要啟示。對(duì)比實(shí)驗(yàn)結(jié)果有力地證明了，和單純的“圖像自監(jiān)督學(xué)習(xí)”相比，利用自然語(yǔ)言進(jìn)行“視覺-語(yǔ)言對(duì)齊”能提供更豐富、更高效的監(jiān)督信號(hào)，從而學(xué)習(xí)到更具泛化性的特征表征。

另外，為了推動(dòng)整個(gè)醫(yī)學(xué)AI社區(qū)的共同進(jìn)步，研究團(tuán)隊(duì)秉持開放科學(xué)的精神，不僅公開了Merlin的模型代碼，還發(fā)布了一個(gè)包含25494對(duì)腹部CT掃描與放射科報(bào)告的高質(zhì)量數(shù)據(jù)集。這一舉措將為全球研究人員提供寶貴的資源，加快3D醫(yī)學(xué)視覺-語(yǔ)言模型及其下游應(yīng)用的研發(fā)和創(chuàng)新。

本文來(lái)自微信公眾號(hào)“學(xué)術(shù)頭條”（ID：SciTouTiao），作者：王躍然，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com