Anthropic近日發表研究指出,其AI模型Claude內部存在一個小型「工作空間」,用於在生成回應前暫存與處理想法。該結構被認為與人類意識的一項重要神經科學理論相呼應。
這篇題為《語言模型中的可言說表徵形成全域工作空間》的論文,描述了Claude內部一組被稱為「J-space」的活躍區域。研究人員利用名為「Jacobian lens」(J-lens)的新型可解釋性工具,將模型內部活動映射為類似文字的訊號,從而識別出這個結構。
一個「未說出口」的思考空間
Anthropic表示,J-space一次僅容納數十個概念,佔Claude整體活動不到一成,但卻承擔關鍵的高階推理功能。例如,當Claude閱讀含錯誤的程式碼時,J-space中會先出現「ERROR」的概念;當面對提示注入攻擊時,「injection」或「fake」等概念亦會在輸出前浮現。
研究框架借鑒神經科學中的「全域工作空間理論」,該理論由Stanislas Dehaene與Lionel Naccache提出。兩位學者亦參與外部評論,認為該發現對意識研究具有參考價值,但同時強調AI與人類心智仍存在本質差異。
Anthropic測試了J-space的五項功能,包括可言說性、可調控性、內部推理能力、靈活泛化及選擇性。實驗顯示,若關閉該工作空間,Claude仍可保持語言流暢度、情感判讀及事實記憶,但在多步推理及創作(如詩歌)方面表現明顯受損。
安全應用與限制
在安全層面,J-space可能具有更直接的應用價值。Anthropic指出,在紅隊測試中,J-lens可在模型行動或生成內容之前,捕捉到如「勒索」、「操控」、「施壓」等潛在風險概念。
公司已宣布將Jacobian lens開源,並在Neuronpedia上提供互動展示。
不過,Anthropic並未聲稱Claude具備意識。研究明確區分「可取用意識」(即可用於推理與報告的資訊)與更具哲學性的主觀體驗問題。論文亦指出,Claude的工作空間在結構與持續時間上均不同於人類的工作記憶,且尚不清楚其他模型是否具備類似機制。
研究提出一個關鍵問題:這種結構究竟是巧合,還是人工神經網絡與生物大腦在演化過程中的「趨同解決方案」。
論文指出,類似工作空間的組織形式「可能是實現靈活智能的一種通用計算解法,而非生物系統的偶然產物」。
Google DeepMind的模型可解釋性研究員Neel Nanda亦參與外部驗證,在一個開源模型上成功重現相關現象,為J-space是否具普遍性提供初步證據。
Would you like a more concise version for headlines-only feeds, or a version adapted for social media distribution (e.g., Facebook/WeChat style)?