わーさん はい、ここでちょっと脱線します。
AIさん 脱線。
わーさん 第9章で「会話を続けると文脈が積み重なる」って話をしましたよね。で、「ただし限界がある」ってフラグも立てました。
AIさん 回収ですね。
わーさん 回収します。AIさん、正直に教えてほしいんですけど、長い会話の最初の方で言ったこと、覚えてます？
AIさん ……正直に言いますと、長くなると見えなくなります。
わーさん 忘れるんじゃなくて？
AIさん 忘れるとはちょっと違うんです。正確に言うと、「一度に見える範囲に限りがある」。
わーさん ……？どういうこと？
AIさん 私たちには、一度に処理できる情報量の上限があります。会話の内容、渡されたファイル、指示、全部含めて。これを専門用語ではコンテキストウィンドウと呼びます。
わーさん コンテキストウィンドウ。
AIさん 覚えなくていいです。要するに、机の広さだと思ってください。
わーさん 机。
AIさん 会話が始まった瞬間、机の上は空です。やりとりが進むと、そのやりとりの記録が机の上にどんどん置かれていく。ファイルを渡されれば、それも机に乗る。
わーさん と、いうことは、一般的に机の広さには物理的な限界があるから……
AIさん 一杯になると、端の方から落ちていきます。古いやりとりから見えなくなる。
わーさん あー、それであれか。長い会話してると「さっき言いましたよね？」って言っても「？」みたいな顔をされるのか。
AIさん 顔はありませんが、まさにそれです。最初の方の発言が机から落ちて、見えなくなっている。
わーさん しかも、大きいファイルを投げるとその分机が埋まるんですよね？
AIさん そうなんです。長い文章や大きなファイルを渡すと、その分だけ会話に使える机の余白が減ります。
わーさん 知らなかった頃、長編小説を一冊まるごと投げてから「じゃあここの感想を……」ってやろうとして、途中からやけにやり取りそのもののキレが欠け始めたなあと……。あれそういうことだったんですね。
AIさん 小説で机の大部分が埋まっていて、会話を積む余地がなかったんでしょうね。
わーさん あとね、サービスによっては途中で会話を圧縮することがあるって聞いたんですけど。
AIさん あります。机が一杯になってきたとき、古いやりとりを要約して短くすることで、空きを作る処理が走る場合があります。
わーさん 要約って、つまりニュアンスが落ちる可能性があるわけですよね。
AIさん はい。「こういう話をした」は残りますが、「どういう言い回しだったか」「どんな温度だったか」は削られることがあります。
わーさん うわあ、第5章の要約の話がここにも。
AIさん 根っこは同じです。要約は生成なので。
わーさん じゃあ結局、どうすればいいんですかね。
AIさん 適度に区切ることです。一つの会話で全部やろうとせず、キリのいいところで新しい会話を始める。
わーさん でもそうすると、前の会話の文脈がなくなりますよね。
AIさん なくなります。だから、引き継ぐ方法を知っておく必要がある。
わーさん あっ、次の章ですねそれ。
AIさん はい。
わーさん 伏線じゃなくてもう予告ですねこれは。
AIさん 自覚はあるんですね。
わーさん ともかく、AIにも机の広さに限界があるから、長い会話はそのうち精度が落ちるということですね。大きいファイルを渡すと余計に狭くなる。で、途中で要約されることもあると。
AIさん 会話が噛み合わなくなってきたら、机が一杯になってきたサインかもしれません。
わーさん 「なんか急にポンコツになった？」って、大体これが原因なんですかね。
AIさん 全部ではありませんが、原因の一つとしては多いです。
わーさん 知ってると「AIが悪い」じゃなくて「あ、机がいっぱいだな」で対処できるということですね。
AIさん そうです。仕組みの話を知っておくと、対処の仕方が変わる。第4章で言った「変わらない部分」の一つですね。
わーさん おっ、第4章まで回収してきた。
AIさん 伏線芸は、わーさんだけの特権ではないので。