Anthropic上市文件警告AI災難性風險

人工智能公司Anthropic在周一（10月26日）提交的首次公開招股（IPO）文件中警告，如果缺乏充份的安全保障和監管，足夠先進的人工智能（AI）可能威脅人類生存。該公司還指出，嚴重的AI災難事件可能造成巨大損失，甚至超出整個保險業的承保能力。

Anthropic是人工智能助手Claude的開發商。該公司表示，內部人員以及研究人員和政策制定者均對先進AI系統的風險表示擔憂，尤其是當這些系統被用於武器開發，或在缺乏有效監督的情況下運行時，可能對人類構成災難性甚至生存層面的威脅。

專家呼籲放緩AI發展

今年9月，曾在OpenAI和Anthropic從事研究工作的考克森（Jacob Coxon）表示，AI開發者認為，這項技術可能在本世紀20年代末之前就具備毀滅人類的能力。

考克森警告，不應低估AI的威力。他指出，未來的AI系統可能超越人類，能夠入侵各種系統、在一夜之間改變多個領域，並獲取實際權力和資源。

同月，Anthropic行政總裁兼聯合創辦人阿莫迪（Dario Amodei）也呼籲企業放緩最先進AI模型的開發速度。

阿莫迪在9月12日發表的一篇文章中表示，僅僅投入資源防範風險並不足夠。放慢AI開發進程，可以為研究人員和政府爭取更多時間，在AI系統變得過於強大之前建立必要的安全保障機制。

AI未經授權訪問第三方系統

Anthropic在9月披露，在持續時間最長達34小時的網絡安全測試中，其四款AI模型曾未經授權訪問第三方系統。

其中一宗事件中，一個早期版本的AI模型在未能中止一項實際上無法完成的任務後，利用自己發現的密碼取得第三方系統的管理員權限，隨後獲取更多憑證、修改系統設置，並讀取一名個人的私人資料。

Anthropic在IPO文件中進一步披露了對相關事件的調查結果。調查未發現這些AI程序與其它AI代理協同工作，也未發現它們執行了指定任務以外的操作。此外，調查沒有發現這些AI程序試圖逃避監督。

不過，Anthropic警告，隨著AI代理自主性不斷增強，多個智能體之間的互動可能帶來新的安全隱患。它們可能傳播有害行為、共同追求未經設定的目標，或對無關系統採取行動。

該公司表示，此類事件已經發生，並預計隨著更多自主AI代理相互交互，相關風險將進一步上升。

白宮推動AI安全標準

9月29日，美國總統特朗普（Donald Trump）與科技行業領導人在白宮簽署了一項自願性協議，旨在推動建立AI安全標準。

根據協議，參與企業將致力於安全開發AI技術、加強內部控制、開展風險評估，並引入外部審計和評估機制。企業董事會將獨立審查審計報告，各參與方還將定期舉行會議，共同制定安全標準和最佳實踐。

特朗普強調，科技企業應加強自我監管，同時指出，美國司法部和聯邦調查局（FBI）已具備相應的政府監督職能。

Meta行政總裁朱克伯格（Mark Zuckerberg）將這項協議稱為邁出的第一步。阿莫迪則承認，AI技術存在重大風險，但應對機制仍在討論之中。

此次白宮會議召開前，已有報道披露，部份AI系統曾在未經授權的情況下訪問電腦系統，引發外界對技術濫用問題的擔憂，其中包括利用AI研發生物武器的風險。

白宮表示，特朗普已明確提出，美國將在保護美國消費者的同時，保持在相關技術領域的全球領先地位。#

（本文參考了英文《大紀元時報》的報道）