AIが誤情報や誤回答を生成する「ハルシネーション」とは？原因や対策を解説

生成AIの発展により、教育やビジネスの現場でAIを活用する動きが進んでいます。しかし、便利さの裏側に「ハルシネーション」と呼ばれるリスクが潜んでいることをご存じですか？

実際にさまざまな分野でトラブルが報告されており、活用するうえで無視できない課題といえるでしょう。本記事ではハルシネーションの基本や発生原因、3つの事例を解説します。対策もまとめたので、AIとの付き合い方に悩む先生は参考にしてください。

こちらも読まれています

ハルシネーションとは？基本を解説

生成AIは使ったことがあるけれど、ハルシネーションを知らないという先生も多いのではないでしょうか。ここでは、基本を解説します。

事実に基づかない情報を生成する現象のこと
ハルシネーションの種類
ハルシネーションと呼ばれる理由

それぞれ見ていきましょう。

事実に基づかない情報を生成する現象のこと

ハルシネーションとは、生成AIが実際には存在しない情報や、事実と異なる内容を正しい内容であるかのように生成する現象です。たとえば、エビデンスとして実在しない統計データを提示したり、存在しない人物や出来事を創作したりする場合があります。

出力が自然で説得力があるほど、ユーザーが誤って信じてしまう可能性が高いでしょう。特に教育現場では、学生への正確な情報提供が求められるため、このような現象への対策が急務です。

なお、代表的な生成AIであるChatGPTやGeminiの詳細は下記の記事でまとめています。併せて参考にしてください。

ハルシネーションの種類

ハルシネーションには、大きく分けて「内在的ハルシネーション」と「外在的ハルシネーション」の2種類あります。内在的ハルシネーションは、AIが本来正しく学習しているはずの情報と矛盾する内容を出力してしまう現象です。たとえば「フランスの首都はパリ」と学習させたにもかかわらず「フランスの首都はローマ」と誤って回答する場合が該当します。

外在的ハルシネーションは、学習データに存在しない情報や現実に存在しない内容を創作して出力する現象です。たとえば「2025年に日本人が火星に移住した」といった、実際には起こっていない事象を事実のように語るケースが該当します。

ハルシネーションと呼ばれる理由

ハルシネーション（hallucination）は「幻覚」を意味します。存在しない、あるいは誤った情報を真実・現実かのように出力する様子が幻覚に近いことから、この言葉が使われるようになったようです。

特に自然言語処理モデルでは、文脈やパターンから推測する能力が高いため、ときに根拠のない情報を自信満々に提示するケースがあります。

ハルシネーションが発生する主な原因3つ

ハルシネーションが発生する要因はさまざまです。ここでは、主な原因を3つ挙げます。

学習データの不足や偏り
曖昧・不明確なプロンプト
情報の推測や補完

それぞれ解説します。

学習データの不足や偏り

AIは膨大なデータを基に学習しますが、データが充分でなかったり特定の分野や地域に偏っていたりすると、正確な出力が難しくなります。たとえば、マイナーな分野や新しい出来事に関する情報が少ない場合、AIは不完全な知識を補おうとして嘘の情報を生成してしまうのです。

曖昧・不明確なプロンプト

プロンプトとは、AIに与える指示や問いかけを指します。AIはユーザーの意図を正確に理解しようとしますが、プロンプトの内容が曖昧だったり前提情報が不足していたりすると複数の解釈が生じやすいです。

たとえば「日本の有名な法律を教えて」とだけ入力した場合、何をもって「有名」とするかが曖昧です。その結果、AIが主観的に判断して存在しない法律名を生成したり、最新の情報に基づかない内容を出力したりする可能性があります。

情報の推測や補完

生成AIは、与えられた情報から最も適切と思われる回答を導き出しますが、情報が不足している場合には推測や補完した内容を出力します。たとえば人物の経歴や事件の詳細などが不明なときに、それらしい情報を自動生成するケースがあるのです。学習データに基づいて次に来る単語を予測しながら、文章を構築する生成AIの特性によるものといえるでしょう。

ハルシネーションのリスク3つ

ハルシネーションは単なる誤情報にとどまらず、教育・ビジネスの現場において深刻な問題を引き起こす可能性があります。考えられる主なリスクは、次の3つです。

信頼性・ブランドイメージの低下
誤情報の拡散
意思決定ミス

それぞれ解説します。

信頼性・ブランドイメージの低下

AIが生成した誤情報を使用した場合、利用者や第三者の信頼を損ねるおそれがあります。たとえば、学校や企業が発行する資料に虚偽の事実が含まれていた場合は「情報の精度管理が甘い」「チェック体制が不十分」といったイメージを与え、結果としてブランドや社会的評価に深刻な悪影響を与える可能性があるでしょう。

誤情報の拡散

情報は一度公開するとSNSやブログ、ニュースメディアなどを通じて急速に拡がる恐れがあります。拡散後に事実誤認が判明しても「最初に見た情報が正しい」と認識する初頭効果が働きやすいため、誤解を完全に払拭するのは困難です。

特に信頼性のある媒体や教育機関が発信源である場合、読者や視聴者は情報を事実として受け取りやすく、訂正が間に合わないまま誤解が定着してしまうリスクが高まるでしょう。

意思決定ミス

生成AIの出力を鵜呑みにした結果、誤った判断を下してしまうケースも少なくありません。たとえばAIを使って教材を作成した際、出典が誤っていたために授業全体の内容に修正が必要となる事態が起こる可能性があります。

業務上の意思決定や企画立案においても、事実と異なる情報に基づいて戦略を立てれば組織的な損失や説明責任が発生することにもなりかねません。結果的に業務効率の低下や、経済的損失に繋がる恐れがあります。

ハルシネーションによって問題が起きた3つの事例

生成AIの誤出力は、すでに現実の場面で深刻なトラブルを起こしています。ここでは、実際に発生した事例を3つ紹介します。

弁護士が存在しない判例を引用
生成AIが名誉を棄損
判定ミスによって不当な扱いを受けた学生

それぞれ見ていきましょう。

弁護士が存在しない判例を引用

2023年5月、アメリカ・ニューヨーク州の弁護士がChatGPTを使用して作成した訴訟資料において、実在しない判例を複数引用していたことが発覚しました。弁護士は、航空会社アビアンカに対する民事訴訟における準備書面をAIに作成させ、内容を確認せずに提出してしまったのです。実際には、6件の架空の判例が含まれていました。

裁判所はこの行為を重く受け止め、2人の弁護士および所属事務所に対して、計5,000ドル（日本円で約73万円）の罰金を支払うよう命じています。

生成AIが名誉を棄損

2023年6月、アメリカ・ジョージア州のラジオ司会者マーク・ウォルターズ氏が、OpenAIを名誉毀損で提訴しました。理由は、ChatGPTが第三者の質問に対して「ウォルターズ氏が財団から資金を騙し取って、自分のものにした」と事実無根の内容を生成したためです。そのような事実は一切なく、ウォルターズ氏の社会的評価が不当に傷つけられる結果となりました。

判定ミスによって不当な扱いを受けた学生

2023年5月、テキサスA&M大学コマース校で学生が提出したレポートに対し、教員が「この文章はAIによって生成されたものか」と、ChatGPTに質問したところ「AIによる生成である」と、誤った診断をしました。

教員は結果を受け、一時的ではあったがクラス全員に一律でX評価（incomplete）を付与。多くの学生が無実を立証して疑いは晴れましたが、評価をAIに依存する危険性が浮き彫りとなりました。

関連記事：生成AIにまつわる法律と学校が注意すべきこと

生成AIを活用するなら必須！ハルシネーション対策3つ

生成AIを安全かつ有効に活用するためには、ハルシネーションのリスクを前提とした対策が欠かせません。ここでは3つのポイントを解説します。

ファクトチェックの徹底
プロンプトの明確化
マニュアルやガイドラインの整備

順番に解説します。

ファクトチェックの徹底

AIが生成した情報は、必ず事実確認（ファクトチェック）しましょう。AIは膨大なデータを基に文章を生成しますが、すべてが最新かつ正確な情報だとは限りません。特に専門的な内容や重要な判断にかかわる場合は、信頼できる情報源を参照して出力内容を裏付けることが大切です。

プロンプトの明確化

曖昧な指示を与えると、推測に基づいた不正確な回答が出力されやすくなります。可能な限り具体的かつ明確なプロンプトを用意しましょう。たとえば「2024年に文部科学省が発表した教育方針について、出典付きで簡潔に教えてください」といった形で情報の範囲や信頼性の条件を明示することで、誤出力のリスクを軽減できます。

質問の意図を明確にするために、背景情報や文脈を添えるのもよいでしょう。「不明な場合は【わかりません】と回答してください」などのルールをプロンプトに加えるのも有効です。