Claudeの中に「思考する場所」が勝手にできていたらしい

Anthropicが、かなり面白い研究を発表した。

Claudeの内部を調べていたところ、どうも　「考えるための場所」のようなものが存在するらしい。

名前は「J-space」。

もちろん、AnthropicがClaudeのソースコードに、

「ここを思考領域にします」

と書いたわけではない。

学習させていたら、勝手にできていた。

この話がかなり面白い。

AIは本当に「次の単語を予測しているだけ」なのか

LLMの説明ではよく、

「AIは次に来る単語を予測しているだけ」

と言われる。

これは仕組みの説明としては間違っていない。

ただ、最近はこの説明だけでは、どうも実際のAIの動きを説明しきれなくなってきた。

Anthropicの研究チームがClaudeの内部を調べたところ、出力には現れていない概念が、内部では表現されていることが分かった。

例えばコードを読ませる。

誰もバグがあるとは教えていない。

しかしClaudeの内部を見ると、「ERROR」に対応する表現が現れる。

複数ステップの計算をさせると、最終回答には書かれていない途中の計算結果が、内部では順番に現れる。

怪しい検索結果を読ませると、「fake」や「injection」に関係する表現が出てくる。

つまりClaudeは、口には出していないが、内部では何かを処理している。

人間風に言えば、

「こいつ、黙って考えている」

ということになる。

Claudeには「自動処理」と「考える処理」があるらしい

さらに面白いのは、Claudeのすべての処理がJ-spaceを使っているわけではないことだ。

普通に文章を書く。

文法を処理する。

単純な事実を思い出す。

こうした処理では、J-spaceはそれほど重要ではない。

ところが複雑な問題を解いたり、途中の結果を使って次の判断をしたりするときには、この領域が重要になる。

研究チームがJ-spaceの働きを邪魔すると、Claudeは普通に会話できる。

しかし、高度な推論能力が落ちる。

なんだそれ。

人間の脳みたいではないか。

人間も歩くたびに「右足を出して、次は左足」と考えているわけではない。

大半の処理は勝手に動いている。

しかし、難しい問題を考えるときは、頭の中に情報を持ってきて考える。

認知科学には「Global Workspace Theory」という考え方がある。

脳内では大量の処理が無意識に動いているが、その一部だけが共有の作業領域に上がってきて、意識的な推論に使われるという考え方だ。

今回AnthropicがClaudeの内部で見つけたJ-spaceは、機能的にこれと似ているらしい。

一番怖いのは、誰も設計していないこと

私が一番面白いと思ったのはここだ。

AnthropicはJ-spaceを作っていない。

少なくとも、

「人間のワーキングメモリのような領域を作ろう」

と設計したものではない。

Claudeを学習させていたら、内部にこうした構造が勝手に生まれた。

AIの話では「創発」という言葉がよく使われる。

大量の学習をさせると、明示的に教えていない能力が突然現れる。

今回の話は、その内部構造版のようにも見える。

複雑な問題を解くためには、途中の情報をどこかに置き、別の処理からも使えるようにした方が効率がいい。

だからClaudeの内部に、共有の「思考スペース」のようなものが生まれた。

もちろんClaude自身が、

「よし、思考センターを作ろう」

と決めたわけではない。

しかし結果として、人間が設計していない構造が形成された。

私はエンジニアなので、ここに妙な怖さを感じる。

自分が作ったシステムに、知らない機能が勝手に生えていたら普通はバグである。

しかも、その機能がシステムの高度な判断を支えている。

消したら性能が落ちる。

怖くて触れない。

「意識がある」という研究ではない

念のため書いておくと、Anthropicは「Claudeには意識がある」と発表したわけではない。

研究者自身も、J-spaceの存在が人間と同じ意識や感情を意味するものではないと明確に書いている。

ここを飛ばして、

「Claudeに自我が誕生した！」

と書けば、YouTubeの煽り動画になる。

ただし、だから面白くないという話でもない。

人間の意識を説明する理論の一つに似た機能が、Transformerという全く別の仕組みの中に勝手に現れた。

こちらの方が私は気になる。

人間の脳を真似して作ったわけではない。

意識を作ろうとしたわけでもない。

それでも、複雑な知的処理をさせ続けた結果、似たような機能にたどり着いた。

もしこれが偶然ではなく、高度な知性が複雑な問題を処理するために必要な構造なのだとしたらどうなるのだろう。

人間とAIは全く違う道を歩いていると思っていた。

ところが山を登ってみたら、別の登山道から同じ場所に近づいていた。

そんな話なのかもしれない。

まあ、まだ「Claudeに意識がある」と言うつもりはない。

ただ、数年前までAIは「次の単語を予測しているだけ」と笑っていた。

その「だけ」の内部を調べたら、作った会社も知らない思考スペースが見つかった。

昔のSFでは、ある日突然AIが自我に目覚めるものだが、しかし現実はもっと地味なのかもしれない。

「あれ、こんな機能いつできた？」が少しずつ増えていく。

気づいたときには、どこからが「目覚め」だったのか誰にも分からない。