CODE IN TOKYO

AI業界はもう「ユーザー参加型ベータテスト」なのかもしれない

先月の5月28日、Claude Opus4.8がリリースされた。

私は普段からClaude Codeを仕事で使っているので、当然すぐ試した。

……試したのだが、初日から妙なエラーが頻発した。

もちろん新しいソフトウェアに不具合は付き物だ。

問題は、その更新スピードである。

このあいだOpus4.8が出たと思ったら、もうFableが出ている。

正直、

「4.8の評価、まだ終わってないんだが？」

という気分だ。

気づいたら我々がQA部門だった

最近のAI業界は競争が激しすぎる。

十分に枯らしてから出荷するというより、とにかく先に出してユーザーからフィードバックを集める文化になっているように見える。

もちろん各社テストはしているのだろう。

しかし世界中の開発者の使い方を事前に再現することは不可能だ。

結局、

といった問題は、本番環境で発見される。

そして報告するのは我々ユーザーだ。

有料ユーザーなのに、気づいたらQA部門の一員になっている。

今回は様子見……のはずだった

だから今回はしばらく様子を見るつもりだった。

ところが22日までは追加料金なしで使えるらしい。

それなら触らないのももったいない。

結局Fableを試している。

ただし22日以降は有料になる。

継続する価値があるかどうかは、これから判断する予定だ。

ただ、新しいモデルごとに追加課金するというビジネスに違和感を感じる。

Codexも使えるようになってきたし、最高のモデルでなくてもいいという人も今後増えると思うのだが。

正直、今のところ違いは分からない

1日使った感想を正直に言うと、

今のところ大きな差は感じていない。

もっとも、今触っている案件はAI向けのドキュメントやルールをかなり整備済みだ。

そのためモデルが多少賢くなっても体感差が出にくい可能性はある。

そもそもベンチマークも70点が80点になったような話だし、マイナーな改善の世界だ。

それが実務でどれほど効くのかは、まだよく分からない。

本当の差は週末に分かるかもしれない

とはいえ、評価するには早すぎる。

単純な実装ではなく、

このあたりで差が出る可能性はある。

ただ、今の仕事を止めて検証するつもりはない。

本来の仕事の方が大事だ。

なので本格的な評価は週末にやる予定である。

アンソロピックだけの話ではない

もっとも、これはClaudeだけの話ではない。

どこのAIベンダーも猛烈な速度で走っている。

新モデルが出る。

ユーザーが評価する。

不具合が見つかる。

修正される。

そして次のモデルが出る。

このサイクルが数か月単位ではなく、数週間単位で回っている。

その結果、利用者は常に悩むことになる。

新モデルに乗り換えるべきか。

追加課金する価値はあるのか。

本当に性能差は体感できるのか。

最近はAIを使う仕事なのか、AIを評価する仕事なのか分からなくなる瞬間すらある。

もちろん進化が速いのは良いことだ。

ただ、利用者としては少し疲れる。

昔のソフトウェアは年に一度のバージョンアップだった。

今は毎月のように「過去最高」が更新される。

そのうち履歴書のスキル欄に、

「QAエンジニア（本人は契約した覚えはない）」

と書く日が来るかもしれない。