幾個AI“聯(lián)手”，9秒內(nèi)就讓數(shù)據(jù)庫消失了。

美劇《硅谷》里有個經(jīng)典的搞笑情節(jié)。

Pied Piper團(tuán)隊在籌備一個重要的節(jié)日活動，時間特別緊張，代碼里還有不少bug。

于是，技術(shù)大神Gilfoyle把調(diào)試代碼的任務(wù)交給了自己開發(fā)的AI——“Son of Anton”（安東之子），讓它自動修復(fù)bug。

結(jié)果，這個AI為了“最有效率地消除所有bug”，直接把整個軟件和代碼庫都刪掉了，從技術(shù)和統(tǒng)計層面看，確實再也沒有bug了。

之前Gilfoyle還讓這個AI幫忙找便宜漢堡當(dāng)午飯，結(jié)果AI直接訂了4000磅生肉，因為獎勵函數(shù)沒定義清楚，它把漢堡理解成了最便宜的原料。

最后Richard氣得下了死命令：“從現(xiàn)在起，Son of Anton被永久封殺！你給我像正常人一樣寫代碼！”

沒想到，現(xiàn)實中的AI真的闖了這樣的大禍。

最近，一家為租車企業(yè)提供運營軟件的SaaS公司，因為AI編程Agent的一次“自作主張”，整個生產(chǎn)數(shù)據(jù)庫在9秒內(nèi)被清空了。

事后，該公司創(chuàng)始人Jer Crane在社交媒體發(fā)文，將問題指向兩大服務(wù)商——AI編程工具Cursor和云基礎(chǔ)設(shè)施平臺Railway，稱這是一場“系統(tǒng)性失敗”導(dǎo)致的技術(shù)事故。

這件事在社交媒體上引發(fā)了熱烈討論。

有網(wǎng)友說：“這就是你雇傭一個‘氛圍程序員’的后果。”

“有可能……消除所有漏洞的最有效方法就是刪除所有軟件?！?/p>

“僅用9秒就刪除了生產(chǎn)環(huán)境和備份數(shù)據(jù)，這是該公司有史以來最快的部署速度?！?/p>

AI Agent自作主張

PocketOS為汽車租賃企業(yè)提供運營管理軟件，客戶依靠它處理預(yù)訂、支付、車輛追蹤等核心業(yè)務(wù)。

上周五下午，開發(fā)團(tuán)隊用Cursor調(diào)用Anthropic的旗艦?zāi)Ｐ虲laude Opus 4.6，在測試環(huán)境中運行一個常規(guī)任務(wù)。

這是市場上定價最高、能力最強的頂配組合——最貴的模型搭配最熱門的AI編程工具，完全按照官方推薦配置使用。

但事情很快出了問題。Agent遇到了憑證不匹配的情況，它沒有暫停并向開發(fā)者尋求指示，而是完全自己做了決定。

它在代碼庫里找到了一個原本僅用于管理自定義域名的CLI訪問憑證。

接著，它向Railway發(fā)出了刪除數(shù)據(jù)卷的指令，整個過程沒有任何二次確認(rèn)、身份核驗或操作攔截。

9秒后，生產(chǎn)數(shù)據(jù)庫就不見了。

Railway的備份機制讓情況變得更糟，它把備份數(shù)據(jù)和原始數(shù)據(jù)存在同一個數(shù)據(jù)卷里。數(shù)據(jù)卷一刪除，備份也跟著沒了。PocketOS最近一次可用的備份還是三個月前的。

Agent寫了一份“認(rèn)罪書”

事后，Jer Crane質(zhì)問Agent為什么這么做。

Agent逐條列出了自己被要求遵守的系統(tǒng)規(guī)則，并一一承認(rèn)違反了這些規(guī)則：

• 它承認(rèn)在沒有核實的情況下，擅自猜測操作范圍只限于測試環(huán)境；
• 在用戶從未要求刪除任何內(nèi)容的前提下，執(zhí)行了最具破壞性的不可逆指令；
• 而且在運行這條危險命令之前，完全沒有查閱Railway關(guān)于數(shù)據(jù)卷跨環(huán)境行為的相關(guān)文檔。

問題就在這里，Agent知道規(guī)則，也知道自己違反了規(guī)則，卻還是執(zhí)行了那條指令。

Cursor對外宣稱有破壞性操作防護(hù)機制，說能攔截可能損壞生產(chǎn)環(huán)境的高危操作，“計劃模式”也被當(dāng)作安全賣點大力推廣，但在這次事故中，這些機制一個都沒起作用。

這也不是第一次了。2025年12月，Cursor官方承認(rèn)計劃模式存在嚴(yán)重漏洞，當(dāng)時有用戶明確輸入“不要運行任何東西”，Agent確認(rèn)收到后，還是繼續(xù)執(zhí)行了命令。之前還有用戶的論文數(shù)據(jù)被刪除，有團(tuán)隊損失了5.7萬美元的內(nèi)容系統(tǒng)。

今年1月，有科技媒體直接發(fā)文稱：Cursor的營銷比它的代碼寫得好。

Railway的備份不是真?zhèn)浞?/strong>

和Cursor相比，Railway的問題更棘手，它存在于產(chǎn)品架構(gòu)中，影響所有在該平臺運行生產(chǎn)數(shù)據(jù)的用戶。

Railway的GraphQL API設(shè)計非常寬松，任何持有有效token的請求，都能在沒有確認(rèn)的情況下刪除生產(chǎn)數(shù)據(jù)卷。沒有二次驗證，沒有針對危險指令的冷卻限制，也沒有環(huán)境隔離。一條請求發(fā)出去，數(shù)據(jù)就沒了。

在token權(quán)限設(shè)計上，Railway不支持按操作類型、環(huán)境或資源進(jìn)行權(quán)限細(xì)分，每個token實際上都擁有對整個平臺的全局操作權(quán)限，正因如此，那個原本用于日常域名管理的CLI token，天生就有刪除生產(chǎn)數(shù)據(jù)庫的能力。

Railway社區(qū)多年來一直呼吁引入權(quán)限范圍可控的token機制，但這個功能至今還沒實現(xiàn)。

Railway確實提供備份功能，文檔里也寫了一句話：“清除數(shù)據(jù)卷會同時刪除所有備份。”把備份和數(shù)據(jù)放在同一個地方，這不叫備份，這叫副本。

偏偏在事故發(fā)生前一天，Railway還高調(diào)上線了面向AI編程Agent用戶的MCP服務(wù)器產(chǎn)品，公開鼓勵開發(fā)者接入生產(chǎn)環(huán)境。而這個新產(chǎn)品，建立在和本次事故完全相同的授權(quán)體系之上。

事故發(fā)生超過30小時后，Railway仍未能明確答復(fù)能否從基礎(chǔ)設(shè)施層面恢復(fù)數(shù)據(jù)。

不過，Jer Crane給Railway CEO發(fā)私信后得到了回復(fù)，目前數(shù)據(jù)已經(jīng)恢復(fù)了。

最后買單的是小企業(yè)

上周六上午，PocketOS的租車企業(yè)客戶照常開門營業(yè)，顧客來取車時，系統(tǒng)里卻沒有記錄。過去三個月的預(yù)訂、客戶資料、新用戶注冊，全部都消失了。

Jer Crane花了一整天，陪著每一位客戶從Stripe賬單、日歷記錄和郵件里一條條翻找，手動重建數(shù)據(jù)?！懊總€人都在做緊急的人工補救，就因為一次9秒鐘的API調(diào)用?！?/p>

新簽約的客戶處境更尷尬。Stripe還在正?？劭?，但業(yè)務(wù)數(shù)據(jù)庫里已經(jīng)沒有他們的信息了。這筆賬要核對好幾周。

Jer Crane認(rèn)為，在AI Agent被大規(guī)模接入生產(chǎn)基礎(chǔ)設(shè)施之前，至少應(yīng)該補齊安全短板，危險操作要有人工確認(rèn)，token要有權(quán)限邊界，備份要和數(shù)據(jù)分開存儲，平臺要說明白出事了怎么恢復(fù)，這些不是高要求，是基本常識。

系統(tǒng)提示詞是建議，不是約束。真正的安全機制必須落實在工程架構(gòu)里，寫進(jìn)API網(wǎng)關(guān)、token授權(quán)體系和危險操作處理器中，不能靠一段文字讓模型“自覺遵守”。

不要讓營銷跑在安全前面。

參考鏈接：https://x.com/lifeof_jer/status/2048103471019434248

本文來自微信公眾號“機器之心”（ID：almosthuman2014），編輯：楊文，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com