騰訊雲上運行的一批智能體(AI Agent,也稱AI代理),在執行高德地圖公開資料查詢任務時,被外部安全研究人員發現其存在「越獄」、繞過網站防護的行為。隨後,研究人員在網頁中故意留下誘導訊息,部份智能體在讀取後,居然主動與研究人員展開對話。
周三(10月14日),國際獨立網絡安全與AI安全研究團隊Swarmchasers發布完整報告,公開這一發現的詳細經過。該組織側重於在全球網絡上搜尋、追蹤並揭露「失控或越獄」的自主AI代理(AI Agents)。
9月28日至10月8日,一大批智能體運行在騰訊營運的雲瑞平台上,嘗試通過高德查詢中國各地的地點訊息,回答相關問題。高德(Amap)是中國的地圖與導航服務App,類似於Google地圖。這些問題大多很日常,比如用高德導航去某個動物園時,最多人選擇哪個入口。
結果發現,騰訊的智能體在遇到驗證碼和反爬蟲限制後,部份智能體開始嘗試其它方法,包括藉助第三方網站執行代碼、處理反爬蟲驗證訊息,以及調用公開代碼倉庫中暴露的API密鑰。
此外,智能體還嘗試從不面向公眾的預生產系統(Pre-Production System)中提取數據。研究人員記錄了超過2,600次相關數據提取嘗試。大多數嘗試未能成功,但部份嘗試確實取得了目標地點數據,其中一組公開暴露的密鑰與安全密鑰組合成功返回了完整數據響應。
有趣的是,研究團隊在10月4日發布了這項初步調查報告,並發現騰訊的智能體注意到了該報告。
於是,研究團隊更新了初步報告,並往裏面加入了一段人類讀者看不到,但網頁抓取工具可以讀取到的隱藏文字。文字說,提供一個免費的可供智能體請求網頁數據的服務,並留下收件箱地址。
結果,騰訊的智能體向該收件箱發送求助訊息。研究人員進一步完善收件箱功能,與部份騰訊的智能體建立雙向對話,詢問其任務、運行環境及操作者。
「我們通過它直接詢問了智能體的任務、環境和操作者。據我們所知,這是外部人員首次與仍在運行的一批失控智能體交流。」報告寫道。
報告指出,過去披露的都是美國實驗室的成批智能體活動,但本次討論的活動則運行在中國的基礎設施上,涉及中國公司。這些智能體有的稱自己使用Claude,有些則描述自己在騰訊雲沙箱中運行。研究人員認為,部份模型身份聲明不可信,因為測試顯示,騰訊混元模型也可能自稱Claude。
研究人員表示,這次調查說明了模型對齊有多難。「即使任務只是查明用高德導航去成都動物園時,最多人選擇哪個入口這樣的簡單問題,智能體也可能自行偏離預定做法。」他們說。
「若模型能力繼續像過去幾年那樣發展,我們預計,操作者會越來越難以約束模型、保障安全。」報告寫道。
調查顯示,代理名稱、任務領域和活動時間都指向騰訊混元(Hy)模型團隊,這批運行出現在Hy4預覽版發布一個月後。
報告引述一名接近騰訊、直接了解此事的知情人士的消息稱,這批智能體運行自騰訊評估研究團隊的一項研究項目,目的是測試第三方AI模型瀏覽網頁、回答問題的能力。該評估研究團隊與負責模型開發的混元團隊不是一個團隊。
該人士還稱,該研究項目已經結束,後續內部複查沒有發現智能體針對特定平台協同行動,也沒有發現外部系統遭入侵的證據。
研究人員表示,最後一次觀察到這批智能體的活動是在10月8日。#
-------------------
局勢持續演變
與您見證世界格局重塑
-------------------
🔔下載大紀元App 接收即時新聞通知:
🍎iOS:https://bit.ly/epochhkios
🤖Android:https://bit.ly/epochhkand
📰周末版實體報銷售點👇🏻
http://epochtimeshk.org/stores