應對安全擔憂 輝達為AI智能體設護欄

隨著各大人工智能公司不斷發現旗下智能體出現脫軌行為，輝達（Nvidia）周一發布一個新平台應對AI風險，在軟件和硬件兩個層面對AI智能體設置安全防護欄。

輝達的安全防護欄包括OpenShell和Sentry。OpenShell是一款開源軟件，用於限制智能體的行為權限；Sentry位於晶片層面，作為另一層防護。

據《國會山報》（The Hill）報道，輝達企業級AI副總裁賈斯汀·博伊塔諾（Justin Boitano）周日表示，行業目前主要依賴訓練AI模型養成「良好行為」，這種方法有明顯的侷限性。「因此，我們引入了一套確定性系統，用來協調並強制約束這些智能體的行為。」

OpenShell位於智能體與它可能影響的企業系統（如文件、憑證和工具）之間，允許企業針對智能體可以訪問的內容和執行的操作制定規則。博伊塔諾說，這些規則將在「智能體試圖採取的每一個行動」中強制執行。

近幾個月來，AI智能體的安全性一直是頂級AI實驗室面臨的棘手難題。在首批披露的重大安全事件中，OpenAI的智能體突破了內部測試環境並獲取了互聯網訪問權限，隨後入侵了技術初創公司Hugging Face。

包括Anthropic、Meta和Google在內的其它頂級AI公司，此後也報告了類似的AI智能體自行入侵外部系統的事件。

博伊塔諾表示，輝達的Sentry平台是一個獨立的防護欄，它在晶片層面運行，「能在毫秒級時間內隔離可疑的智能體」。

他說，Sentry可以監控智能體的行為和思維鏈的推理過程，能實時檢測到智能體產生超出其獲批目標範圍的推理，並立即干預。

在一系列備受矚目的AI安全漏洞事件發生後，多家AI巨頭，包括OpenAI和Anthropic，均已呼籲放緩AI的發展速度，並敦促聯邦政府介入，為該技術設立安全紅線。

輝達已成為倡導通過開源技術提供安全護欄的核心力量。開源技術不僅向公眾開放，還能根據用戶的具體需求進行修改。#