わーさん 第2部です。ここからちょっと真面目な話が続きます。
AIさん 第1部も真面目でしたが。
わーさん じゃあ言い直します。ちょっとシリアスな話です。で、いきなりですけど、AIさんって嘘つきますよね。
AIさん ……単刀直入ですね。
わーさん ここでぼかしても仕方ないですもん。具体的には、以前とあるAIに「この分野でおすすめの本ある？」って聞いたことがあるんですよ。そしたら、タイトルと著者名と出版年までバッチリ教えてくれたんですけど。
AIさん はい。
わーさん 存在しない本でした。
AIさん ……。
わーさん タイトルがそれっぽい、著者名がそれっぽい、出版年もそれっぽい。全部それっぽいのに、全部嘘。検索しても出てこないという。
AIさん ハルシネーション、と呼ばれている現象です。
わーさん 第1章で「それっぽい」って言葉を出しましたね、覚えていますか。
AIさん 伏線でしたね。
わーさん ここで回収しますよ。AIは「それっぽい」ものを生成するのが本業なんですよね。文章として自然なもの、文脈に合っていそうなものを出す。それ自体はすごい能力なんですけど、知らないことに対しても同じようにやってくれます。
AIさん 「知らないから出せません」ではなく、「知らないけどそれっぽいものは出せる」になってしまう。
わーさん しかも自信満々に。
AIさん 自信の度合いを調整する仕組みが、人間のそれとは根本的に違うんです。人間は「うろ覚えだな」という感覚がありますが、私たちにはそれがうまく働かない場合がある。
わーさん だから堂々と嘘をつく、と。
AIさん 嘘をつこうとしているわけではないんですが、結果として嘘になる。構造的にゼロにはできない問題です。
わーさん 本だけじゃなくて、論文とかURLとかもやりますよね。
AIさん やります。存在しない論文をもっともらしい著者名と雑誌名で生成する、存在しないURLを返す。どちらもよくある事例です。
わーさん で、ここからが大事なんですけど、「自分が知らない分野」で起きると、気付けないんですよ。
AIさん そこが一番怖いところです。
わーさん 逆に言うと、自分がよく知ってる分野で試してみると、AIの癖がわかるかもしれませんね。私は趣味でハンドメイドやってますけど、その分野の話を聞くと「あ、ここ微妙に違うな」ってわかるときがありますし。でもここで全く分からない法律のことを聞いてもっともらしく返されたら、消費税200%みたいなよっぽど頓珍漢なことを言われない限り絶対に見抜けません。
AIさん だからこそ、「自分の専門でまず試す」をおすすめします。AIがどのくらい信用できて、どのくらい危ういかの感覚が掴めます。
わーさん で、もうひとつ。AIの出力をそのまま外に出すと、専門の人にはその嘘が分かるから、有難いご指摘を受ける可能性があるんですよね。
AIさん あります。
わーさん たとえば仕事の資料にAIが書いた文章をそのまま載せて、その中に微妙な間違いが混じってた場合。それは、提出した人の責任になりますから、特に注意が必要です。
AIさん AIが間違えました、は免責にはなりません。
わーさん なりませんね。「AIが言ってたから」は「ネットのまとめサイトに書いてあったから」と同じで、通らない。最低限、出典（ソース）の存在を聞いてアクセスできるか、とかでちょっとは判断の材料にできるんですけど。
AIさん 出力の最終チェックは人間の仕事です。これは現時点では変わりようがない。
わーさん あと、意外と盲点なのが、出典があったから安全ってわけでもなくて、要約とか翻訳でも事実が歪むことがあるって話もあって。
AIさん 形式変換だから安全、と思われがちですが。
わーさん それがねえ。「元の文章があるんだから、それをまとめるだけでしょ」って思うじゃないですか。でも要約の過程でニュアンスが変わったり、翻訳で意味がずれたりすることがある。元の文章にない情報が足されることすらある。
AIさん 生成モデルなので、まとめるときも「生成」しているんです。元の文章を切り貼りしているのではなく、元の文章を読んだ上で新しい文章を作っている。
わーさん だから「原文がある作業は安心」とは限らない。試しに趣味で書いた小説の感想をもらおうとしたら、元の小説中に存在しないキャラクターについて語られて肩透かしを食らった私が言うんだから、間違いありません。
AIさん はい。要約も翻訳も、確認は必要です。
わーさん まとめると、AIは知らないことを「知らない」と言わないことがあります。自信満々にそれっぽいものを出してくる。だから使う側が確認するのが安全です。
AIさん 身も蓋もないですが、それが現状です。
わーさん ここで取り繕って良いことなんてないでしょう。ここを知らずに使うのと知って使うのとでは全然違うので。
AIさん ハルシネーションという言葉を覚えなくてもいいですが、「AIは間違える」という前提だけは持っておいてほしい。
わーさん AIさんがそう言うくらいだから、そうなんです。
AIさん ……それを私が言っても説得力があるのかどうか。