![[AI使い方ガイド #2] AIはなぜもっともらしい嘘をつくのか、ハルシネーションの見分け方と対処法のカバー画像](/assets/images/posts/c6145b61-e8d2-4983-b19d-795cb10e3577/ai-hallucination-1.jpg)
AIに資料調査を頼んだところ、論文のタイトルや著者まで付いたきれいな一覧が返ってきました。しかし検索してみると、そんな論文は存在しませんでした。AIを使ったことがある方なら、似た経験が一度はあるでしょう。このようにAIが事実ではない内容を事実のように生成する現象を、ハルシネーションと呼びます。今回は、ハルシネーションが起きる理由、疑うべき回答、減らす方法を整理します。
ハルシネーションはバグではなく、仕組みの副作用です
第1回で見たように、AIは正解を探す機械ではなく、もっともらしい次の単語を作る機械です。しかし、もっともらしさと事実であることは別の基準です。
「OOに関する代表的な論文は」という文の後には、著者名ともっともらしい論文タイトルが続くのが自然です。AIはその自然なパターンに忠実に従います。実在する論文なら幸いですが、学習データに正確な情報がなかったり曖昧だったりすると、形式だけ完璧な偽の内容を作り出します。論文の引用形式を数え切れないほど学習しているため、形式は本物らしく、内容だけが偽物になります。
さらに厄介なのは、その態度です。人は知らないことを話すとき、「たぶん」「確かではないのですが」と曖昧にします。一方、AIは作り話であっても自信満々の文章で語ります。文体の自信と内容の正確さは別物なので、話し方だけでハルシネーションを見抜くことはできません。
ハルシネーションを減らす取り組みは続いています。分からないときは分からないと答えるように訓練する方向も強まっています。ただし、「最新モデルなら必ず間違いが少ない」とは言い切れません。開発元が公開した評価では、新しいモデルが以前のモデルより人物や事実に関する質問でかえって頻繁に作り話をした例もあります。モデル世代より確実にハルシネーションを減らす方法は、後で扱う根拠資料の提示です。いずれにせよ、「最近のAIは間違えない」という前提が最も危険です。
疑うべき回答4選
すべての回答を疑いながら生きることはできないので、ハルシネーションが起きやすい箇所を知っておくのが実用的です。
1. 具体的な固有名詞と数字。 論文タイトル、本のページ番号、法令の条文番号、統計値、判例名などです。形式はもっともらしくても、実在するかどうかは別問題です。特に「出典を教えて」と聞いたときに出てくる出典は、最も頻繁に作り出される項目です。
2. 最新情報。 第1回で触れた知識カットオフのため、ウェブ検索なしで答えた最新の話題は古いか、作り話かもしれません。価格、スケジュール、人事情報などが代表例です。
**3. 狭くマイナーなテーマ。**有名な歴史や広く使われる技術のように学習データが豊富なテーマは比較的正確です。しかし、地域情報、社内用語、無名の人物のように資料が少ないテーマほど、空白を想像で埋めます。
4. 誘導された前提。「世宗大王がスマートフォンを投げた事件について教えて」のように質問に誤った前提が含まれていると、AIは前提を正す代わりに、それに合わせて話を作ることがあります。質問が確信に満ちているほど、AIも調子を合わせます。最近のモデルはこのような有名な例なら訂正する傾向がありますが、知られていないテーマでは依然として調子を合わせることがあります。
対処法：検証コストを下げる方向で
ハルシネーションへの基本的な対策は「AIを信じない」ことではなく、間違っていた場合の影響が大きい情報だけを選んで検証することです。
**第一に、ウェブ検索を有効にして質問しましょう。**現在のAIサービスにはウェブ検索モードがあります。検索結果を根拠に答えさせると、ハルシネーションを大幅に減らせます。何より、出典リンクが実在するページかどうかをクリックして確認できます。ただし、リンクが開けば終わりではありません。そのページに本当に回答の内容が書かれているかまで確認する必要があります。リンクは本物でも要約が間違っている場合があるからです。
**第二に、根拠資料を直接渡しましょう。**契約書を要約させるなら、契約書のファイルを添付する方法です。AI自身の記憶ではなく、皆さんが渡した資料を根拠に答えさせるのが、ハルシネーションを減らす最も確実な方法です。この方法は第4回で詳しく扱います。
**第三に、自信を揺さぶってみましょう。**重要な回答なら、「本当？確信がないなら分からないと言って」と聞き返してください。ハルシネーションなら訂正することがあります。ただしこの方法も完全ではなく、正しい回答を間違いだと訂正する場合もあります。あくまで補助手段です。
**第四に、用途に応じて検証の強さを調整しましょう。**アイデア出しや下書き作成なら、ハルシネーションがあっても影響は小さいでしょう。一方、契約・医療・法律・投資のように間違えると損害が出る分野では、AIの回答は出発点としてのみ使い、原文と専門家に必ず確認してください。
まとめ
- ハルシネーションは故障ではなく、「もっともらしい文章を生成する」という仕組みの副作用です。
- 自信に満ちた口調は、正確さの証拠ではありません。
- 固有名詞・数字・出典・最新情報・マイナーなテーマは特に疑いましょう。
- ウェブ検索と資料の添付で根拠を加え、重要な情報だけを選んで検証しましょう。
ハルシネーションの話の結論は、「だから使うのをやめよう」ではありません。ハルシネーションの性質を知れば、AIにどこまで任せてよいかの境界が見えてきます。そしてその境界の中で成果物の品質を高める鍵が、質問の仕方、つまりプロンプトです。次回は、同じ質問でも回答を変えられるプロンプトの基本4つを扱います。