AIの答えは信じていい？正しいかより「何を根拠にしているか」を見る

AIに何かを聞くと、すぐにそれらしい答えが返ってきます。でも、それが本当に正しいのかは、読んだだけでは分かりません。AIはときどき、事実と違うことを、自信のある言い方のまま答えるからです。

かといって、答えの出どころを一つずつ確かめていたら、きりがありません。

私は仕事でも家でも、長い時間AIと一緒にものを作っています。それでも、AIが嘘をついているかもしれないと意識したことは、特にありません。なぜだろうと考えてみて、私はAIの答えを「正しいか、まちがっているか」で見ていないのだと気づきました。

AIの答えには、何かしらの根拠がある

AIの答えは、どこかから急に湧いてくるわけではありません。何かを根拠にして出てきています。

調べものなら、検索してきた情報が根拠になっています。会話の中なら、私が話したことが根拠になっています。

だから、答えが事実と違っていても、AIが嘘をついたとは思いません。嘘は、わざと違うことを言うことです。AIの答えが違っていたときは、根拠にしたものか、そこから答えにするまでのどこかで、ずれが起きています。

なかでも間違いが起きやすいのは、調べてほしいことに、AIが検索をしないで答えたときだと思っています。

検索をしないとき、AIは、これまでに学んだたくさんの文章から、それらしいつながりで言葉を出しています。根拠になる情報がどこにもないのに、もっともらしい答えが出てくることがあります。いわゆるハルシネーションです。

特に、道具やサービスの仕様、料金、最近の出来事のような話で起きやすいです。AIが学んだ知識が古かったり、そもそも知らなかったりしても、それらしい答えは作れてしまうからです。

私は、AIが会話の始めに読み込むファイル（CLAUDE.md や AGENTS.md）に、手元のファイルに書かれていないことはWeb検索で確かめてから答える、と書いています。

ChatGPT や Claude のアプリにも、あらかじめ指示を書いておける設定があるので、同じことを書いておけます。設定を使わなくても、聞くときに「調べてから答えて」と添えるだけで変わります。

検索してから答えてもらうと、答えの根拠が見えるようになります。先日、ある道具の仕組みをAIに調べてもらったときは、「ここまでは確かな情報が見つかった」「ここは、はっきりした情報が見つからなかった」と分けて返ってきました。こう返ってくると、どこまでを前提にしていいのかが分かります。

ただ、検索してもらえば間違いがなくなるわけではありません。

答えが違っていたら、AIが間違えたと考えるより、どこでずれたのかを探します。 どこでずれたのかが分かれば、それはもう「間違い」というより「そうなった経緯」です。経緯が見えていれば、どこを直せばいいかも分かります。

それでも、私は答えの出どころを一つずつ見てはいません。

答えを受け取ったら、それを使って先に進みます。作ったものの動きはAIに確かめてもらうし、話は続けていきます。どこかでずれていれば、その先で噛み合わなくなって、引っかかります。引っかかったら、「なんでそうなったの？」と聞いて、そこから直します。

確かめるために立ち止まるより、使いながら、噛み合わなくなったところで直しています。

AIの答えを信じていいか迷ったときは、正しいかどうかを見分けようとする前に、その答えが何を根拠にしているのかを見てみてください。

出てきた答えの言葉を一つずつ確かめるやり方は、AIの回答がありきたりでつまらないときにも書きました。