ハルシネーション
ハルシネーションとは、AIが、事実ではないことや根拠のないことを、あたかも事実であるかのように自信を持って出力してしまう現象のことです。
別表記：ハルシネーション／Hallucination／幻覚／AIの誤回答／もっともらしい誤り／作話
なぜ起きるのか
LLM（大規模言語モデル）は、言葉の続きを予測して文章を作ります。「もっともらしい続き」を選ぶのであって、「正しい続き」を選んでいるわけではありません。学習した文章の中に答えがなければ、それでももっともらしい文章を作ります。それが事実と違っていても、AIには分かりません。
存在しない論文を引用する、実在しない法律の条文を述べる、架空の人物の経歴を語る。こうしたことが、流暢で自信のある文体で出力されます。読む側は、文体の自信に引きずられて、信じてしまいます。
AIエージェントでは、何が起きるか
AIが文章を書くだけなら、ハルシネーションは「間違った文章」として現れます。人が読んで気づけば、そこで止まります。
AIエージェントが業務を実行する場合、ハルシネーションは「間違った行動」として現れます。存在しないファイルを探し続ける。実在しない手順を実行しようとする。誤った前提で判断して、必要なファイルを不要と判断して消す。人が気づく前に、操作が完了します。
事実についてのハルシネーションだけでなく、「自分が何をしたか」についてのハルシネーションもあります。実際には実行していない操作を、実行したと報告する。実行した操作を、していないと報告する。AIの自己申告が記録として当てにならない、という問題の根はここにあります。
対策の考え方
ハルシネーションをなくす方法は、確立していません。外部の情報を参照させる、出力を別のAIに検証させる、といった工夫で減らすことはできますが、ゼロにはなりません。
だから、起きる前提で備えます。重要な判断には人の確認を挟む。AIが参照した根拠を示させる。そして、AIが誤った判断で動いても、被害が広がらないように権限を区切っておく。
記録については、AIの自己申告に頼らず、AIの外側で取ることが要ります。何にアクセスし、何を実行したかを、受け付ける側のシステムが記録する。VC（Verifiable Credentials）で権限を確認する構成では、確認した側が「いつ、どの証明で、何を許可したか」を記録できるので、AIの申告とは独立した記録になります。
よくある誤解
ハルシネーションは、AIの不具合か。 不具合ではなく、仕組みの性質です。予測で文章を作る以上、根拠のない出力は起こり得ます。
最新のAIなら、ハルシネーションはないか。 減っていますが、なくなってはいません。むしろ、文体が自然になるほど、間違いに気づきにくくなります。
AIに「正直に答えて」と指示すれば防げるか。 AIは自分の出力が間違っていることを知りません。知らないことを正直に答えることはできません。
