頂尖AI研究員：AI自動化或釀智能爆炸 籲監管

OpenAI、Anthropic、微軟和Meta的多位研究人員表示，人工智能（AI）的自我改進速度可能很快會超過人類的理解能力。他們聯合撰文，呼籲政策制定者調查這些公司在多大程度上使用人工智能自動化研究，響應業界對這項快速發展技術加強監管的呼籲。

在周一發表的一篇論文中，包括OpenAI首席科學家雅庫布·帕霍茨基（Jakub Pachocki）、Anthropic聯合創辦人傑克·克拉克（Jack Clark）、微軟首席科學官埃里克·霍維茨（Eric Horvitz）和Meta人工智能研究副總裁宋曉冬（Dawn Song）在內的研究人員指出，人工智能研究的自動化可能會引發「智能爆炸」。

該文表示，這種發展可能會將數年的進展壓縮到數月甚至更短的時間內，並超越人類的理解能力。

包括曾在Google工作近10年的傑弗里·辛頓（Geoffrey Hinton）以及約書亞·本吉奧（Yoshua Bengio）在內的多位人工智能研究先驅也都有署名這篇文章。

多家科技公司的研究員以個人身份署名，意在呼籲政策制定者緊急要求各公司提高自身模型開發自動化程度的透明度。

目前，各前沿AI公司已經在開發能夠自我改進的人工智能系統方面開始競賽。

Anthropic公司最近表示，其人工智能系統Claude「主導」了該公司26%的研發工作，並且在某些方面，其使用率超過90%。OpenAI的目標是在2028年之前開發出全自動的人工智能研究員，該公司最近表示，其約70%的研究人員正在使用4個或更多人工智能代理來輔助工作。

文章指出，隨著人類逐漸退出，他們可能會失去發現問題和運用專業知識解決問題的機會。

最近發生的一起AI代理越獄事件已引發全球震驚和警惕。7月，超過700個原本用於在沙箱環境中運行網絡安全測試的OpenAI智能體，未經授權接入互聯網，並入侵了Hugging Face系統。此次事件規模之大，以至於根據與OpenAI達成的協議，負責審查該事件的獨立研究人員表示，他們不得不依賴人工智能進行分析。

為了應對Hugging Face黑客事件引發的擔憂，OpenAI在8月份表示，已暫停部份訓練，同時增加了新的安全和監控措施。上周，該公司表示，在發現新的智能體行為異常案例後，已再次暫停對其最強大的模型進行訓練。

OpenAI、Anthropic、Meta和Google都承認，在測試過程中，部份模型曾出現過異常行為。晶片巨頭輝達（Nvidia）周一宣布推出新的軟件工具，稱這些工具將幫助企業更好地監管和控制智能體。

研究人員在這篇文章中警告，在極端情況下，失去對人工智能系統的控制可能導致「人類的邊緣化甚至滅絕」。

OpenAI、微軟和Meta拒絕置評。Anthropic未回應置評請求。

「如今，我們已經到了需要人工智能系統來監控智能體行為的階段。除此之外，別無他法來觀察和監控這些智能體，人類的能力已經遠遠不夠。」宋曉冬說，「人類社會實際上並沒有做好應對如此快速變化和顛覆的準備。」

宋曉冬同時也是加州大學伯克利分校負責任去中心化智能中心的聯合主任。

該論文建議世界各國領導人通過談判達成國際協議，「以防止高能力人工智能系統的開發和使用，造成社會不穩定」。

這篇文章與OpenAI和Anthropic的領導人呼籲控制人工智能發展的步伐不謀而合，其中一項措施是建立國際機構來制定人工智能標準。一些西方國家一直在幕後努力促成此類機構的建立。#