防範AI失控風險！OpenAI提議制定前沿技術標準

OpenAI 近日發表針對前沿人工智慧安全與保障的提案，重點聚焦於對齊研究以及被稱為遞迴自我改進(RSI)的運算技術。該公司強調，為了確保系統符合人類價值觀並受人類控制，對齊研究必須跟上 AI 能力的發展步伐。OpenAI 呼籲國際社會攜手合作，在現有全球 AI 安全機構的基礎上制定前沿標準。

遞迴自我改進恐引發失控，專家警告應謹慎開發

RSI 技術讓基礎模型能在無人類介入下自我升級，這項潛力雖然讓開發者感到振奮，但也引發科技界擔憂。專家警告，隨著 AI 系統變得更加複雜且普及，開發者可能會失去對底層技術的控制，甚至引發無法預料的後果。OpenAI 明確表示，目前尚未出現完全自主的 RSI，在確保安全之前不應盲目追求這項技術。

同業齊發聲警告AI威脅，呼籲放緩模型開發步伐

在 OpenAI 發聲的同時，競爭對手 Anthropic 也提出了安全開發前沿 AI 模型的理念。此前，曾在這兩家公司任職的研究員 Jacob Coxon 宣布辭職，並批評企業的開發行為形同「拿人類生命賭博」，引發全球熱議。Anthropic 執行長 Dario Amodei 隨後發表文章，建議 AI 公司應放緩基礎模型的開發速度，以應對潛在的資安與生物武器威脅。

特斯拉(TSLA)馬斯克表態支持第三方評估防堵漏洞

為降低 AI 技術對社會構成的風險，Dario Amodei 提議在企業內部引入第三方評估機制。這項主張獲得了 OpenAI 執行長 Sam Altman 以及特斯拉(TSLA)與 SpaceX 執行長 Elon Musk 的公開支持。然而，由於 AI 評估領域仍處於發展初期，業界尚未就獨立第三方審查的統一標準與原則達成共識，這促使 AI 評估者聯盟正積極推動設定「最低條件」，以確保審查能順利進行。

權知道

我們重視「知」的權利 不惜抽絲剝繭、深入調查 只為讓投資人不錯過重要的投資訊息