CODE IN TOKYO

半日を溶かした話——AI時代でも、結局ミスをするのは人間だった

今日は少し反省している。

午前中の作業を、ほぼ丸ごと無駄にしてしまった。

別にシステム障害を起こしたわけでもないし、データを消したわけでもない。だが、エンジニアにとって「半日分の調査結果が全部間違いだった」と判明するのは、なかなか精神的にくるものがある。

今回扱っていたのは、あるシステムの内部調査において、特定ファイルのパーミッション次第で挙動が変わるタイプの話。

Claude Codeで調査

一見すると単純そうに見える。だが実際には細かな制約条件が絡み合っていて、ちょっとした解釈違いが結論そのものを変えてしまうタイプの問題だった。

今思えば、この時点で気付くべきだった。

「ああ、これは最も精度の高いモデルを使って調査すべき案件だな」と。

いつもの流れで始めてしまった

最近は普段の作業で Claude Sonnet を使うことが多い。

文章を書いたり、構成を考えたり、軽い調査をしたりするには十分すぎるほど優秀だ。

だから今日も特に何も考えず、そのまま調査を始めた。

これが失敗だった。

実は自分の中には以前からルールがある。

「調査系は最強モデルを使う」

というものだ。

曖昧な要件整理や深い技術調査、複数の前提条件を検証する作業は、多少コストがかかっても最も性能の高いモデルを使う。

何度も失敗して学んだルールである。

ところが今日は、そのルールそのものを思い出さなかった。

ルールを破ったというより、ルールの存在を忘れていた。

人間らしいミスだ。

慣れは便利だが危険でもある

考えてみると、今回の原因はモデル性能の差ではない。

もっと単純な話だった。

慣れである。

毎日同じツールを使っていると、判断を省略するようになる。

本来なら、

を一度考えるべきなのに、

「いつものやつでいいか」

で始めてしまう。

そして、人間の脳は一度前提を置いてしまうと、その前提が間違っていても意外と長い時間気付かない。

今回もまさにそれだった。

パーミッション設定の微妙な解釈違いを見落としたまま調査を続け、気付いた時には午前中が終わっていた。

AIの使い分けも技術のうち

誤解してほしくないのは、今回の話は

「Sonnetが悪い」

でも

「Opus 4.8なら必ず正解だった」

でもない。

正直なところ、今でも Opus 4.8 を使っていれば絶対に正しい結論に到達できたとは言い切れない。

AIはどのモデルでも間違える。

それは大前提だ。

今回の反省点はそこではない。

パーミッション設定のように細かい条件が絡む調査だったにもかかわらず、

「精度を最大化する努力を最初から放棄した」

ことにある。

外科手術に包丁を持っていく人はいない。

結果として同じように切れる可能性はある。

だが、まともな人間なら最初からメスを選ぶ。

今回の私は、それをしなかった。

AI時代でも責任者は人間

最近のAIは本当に優秀だ。

だからこそ油断する。

以前なら「これは慎重にやらないと危ない」と感じていた場面でも、「まあAIが調べてくれるだろう」と思ってしまう。

だが、最終的な責任者はAIではない。

人間である。

モデルが間違えることは避けられない。

しかし、

「最初から成功確率を上げる努力をしたか」

は人間がコントロールできる。

今回の反省は、

「Opusを使えば解決した」

ではなく、

「精度が重要な調査だったのに、成功確率を上げる行動を取らなかった」

という一点に尽きる。

授業料としては高かった

半日分の作業は消えた。

正直、あまり気分のいい話ではない。

ただ、同じ失敗を二度しなければ授業料としては回収できる。

今後は調査タスクを始める前に、

「これは本当に高精度が必要な作業か？」

「今使っているモデルは適切か？」

を一度だけ確認するようにしようと思う。

結局のところ、AI時代になっても重要なのはツールそのものではない。

そのツールをいつ、どこで、どう使うかという判断だ。

今日はそのことを、半日分の時間を使って思い出した。

できれば、もう少し安い方法で学びたかったが。

なお、この文章を書くにあたってはOpus4.8を使った。だからといって、この反省が正しい保証はない。