AIの「ポチョムキン理解」がちょっと怖い

「ポチョムキン理解」

最近AI界隈で、この単語が使われることが多い。

元ネタは昔のロシア帝国。

女帝エカテリーナ2世向けに、 ポチョムキンという人が、

「国が発展してます！」

と見せるため、 立派な村のハリボテを並べた、 という逸話から来ている。

つまり、

「中身は空っぽだけど、立派に見える」

という意味。

これ、今のAIっぽいなと思う。

AI、めちゃくちゃ賢そうに喋る

実際、 今のLLMって本当に自然に喋る。

• 専門用語も出る
• ロジックっぽく説明する
• 自信満々
• 文章も綺麗

なので、 使ってると普通に

「理解してる」

ように見える。

でも実際は、 内部でやってるのは、

「次に来そうな単語」

を超高精度で繋げてるだけ。

ここ結構重要。

「理解してる風」が危ない

怖いのは、 間違っててもそれっぽく見えること。

例えば、

• 存在しないAPI
• 間違った設計
• 架空の仕様
• 微妙にズレたコード

を、 めちゃくちゃ自然に出してくる。

しかも堂々としてる。

なので、 初心者ほど騙されやすい。

AIの境界線、かなり謎

LLMって、

• 難しい設計議論できたり
• 高度なコード書いたり

する一方で、

「なんでそこ間違えるの？」

みたいな初歩ミスを突然やる。

ここが人間と違う。

人間の「理解」と、 かなり別物なんだと思う。

でも、だからダメという話でもない

とはいえ、 私は毎日AI使ってる。

めちゃくちゃ便利。

なので、

「理解してないから使えない」

ではない。

むしろ、

「理解してない前提で使う」

のが大事。

ところで、ぼくたちは大丈夫なのか

ただ、 よく考えると、

「理解してる風に喋るけど、 　中身は怪しい」

って、 人間も普通にやってる。

会議でそれっぽく語る人。

論文で雰囲気を作る人。

SNSで断定する人。

中身があるかどうかは、正直分からない。

AIのポチョムキン理解を心配する前に、

ぼくたち自身が、どれだけポチョムキンじゃないかは、誰も確かめてない。