AIの基礎とツール

[AI利用ガイド #1] ChatGPTは検索エンジンではない、AIが回答を作る仕組み

ChatGPTに質問して回答を受け取ると、どこかに保存された正解を探して表示したのだと思いがちです。NaverやGoogleに検索語を入力すると文書を探してくれるのと同じようにです。しかし、AIはそのようには動きません。この誤解があるため、「AIが嘘をついた」「AIの答えが毎回変わる」といった戸惑う体験が生まれます…

読了 5 分
[AI利用ガイド #1] ChatGPTは検索エンジンではない、AIが回答を作る仕組みのカバー画像

ChatGPTに質問して回答を受け取ると、どこかに保存された正解を探して表示したのだと思いがちです。NaverやGoogleに検索語を入力すると文書を探してくれるのと同じようにです。しかし、AIはそのようには動きません。この誤解があるため、「AIが嘘をついた」「AIの答えが毎回変わる」といった戸惑う体験が生まれます。シリーズ第1回では、まずこの誤解を解きます。

検索エンジンは探し、AIは作る

検索エンジンとAIの違いは、図書館司書と語り手の違いです。

検索エンジンは司書です。「済州島のグルメ店」と尋ねると、書架から関連文書を探してそのまま渡します。文書に何と書いてあっても内容を変えず、存在しない文書を作り出すこともありません。最近は検索結果の最上部にAIによる要約が表示されることがありますが、そこを書いたのは司書ではなく語り手です。この違いだけ覚えておいてください。

ChatGPTのようなAIは語り手に近い存在です。質問を受けると、どこかから文書を探してくるのではなく、その場で新しい文章を作ります。 受け取った回答は、世界のどこにも保存されていなかった文章です。たった今、その場で生成されました。だからこのようなAIを生成AIと呼びます。

では、何を根拠に作るのでしょうか。ここで核心となる原理が登場します。

原理は一つ、次の単語を当てる

ChatGPTの基盤は、LLM(Large Language Model、大規模言語モデル)という技術です。名前は仰々しいですが、することは一つです。ここまでの文章に自然につながる次の単語を予測することです。

スマートフォンのキーボードにある自動変換を思い浮かべてください。「今日の天気は」まで入力すると、キーボードが「いいですね」と候補を出します。LLMはその自動補完を想像を超える規模に拡大しました。インターネット上の本・記事・ウェブ文書にある数兆個の単語を読み、「この文章の次にはこの言葉が来る」というパターンを学習し、その結果、1〜2語ではなくレポート全体を書き継げるようになりました。

つまりAIが回答する過程はこうです。質問を受け、続きとして最もありそうな単語を一つ選び、その単語まで含めてさらに次の単語を選ぶ。これを1秒に数十回繰り返して文章を完成させます。

LLMが次の単語を繰り返し予測し、候補の確率から選んで文章を完成させるループの図
次の単語を1秒に数十回選び続けることが、回答のすべてです

「もっともらしい言葉」がなぜ賢く見えるのか

「次の単語を当てるだけ? それでどうして翻訳や要約までできるの?」と疑問に思うかもしれません。

秘密は規模にあります。次の単語を正確に当てるには、結局、世界についての知識が必要だからです。「朝鮮王朝の4代目の王は」という文の続きを当てるには歴史を知る必要があり、「このコードのバグは」に続けるにはプログラミングの知識が必要です。膨大な文章を学習する間に、知識と推論パターンがモデル内に圧縮されたのです。

ただし、保存のされ方は検索エンジンと異なります。文書がそのまま保管されるのではなく、数千億個の数値(パラメータ)の中にパターンとして溶け込んでいます。人間の記憶に似ています。私たちも昨年読んだ本を一文字ずつ取り出すことはできませんが、内容については話せます。だからAIの知識は正確な原文引用というより、「だいたいこういう内容だった」に近いのです。

同じ質問に毎回違う答えが返る理由

AIは次の単語を選ぶとき、1位の候補だけを選ぶわけではありません。確率の高い候補の中から、少しランダム性を加えて選びます。毎回1位の単語だけを選ぶと回答が機械的でありきたりになるため、意図的に変化を加えているのです。

そのため、同じ質問を2回すると違う答えが返ります。故障ではなく設計です。検索エンジンだと思えば「なぜ答えが変わるの?」となりますが、文章生成器だと思えば自然なことです。

この性質は使い方によって長所になります。回答が気に入らなければ再生成して別のバージョンを受け取れますし、アイデア会議のように多様な案が必要な場面で特に役立ちます。

検索エンジンと生成AIの処理フローを比較する図、文書検索と次の単語の予測・生成
探してくれる検索エンジンと作り出す生成AIは、出発点から異なります

最新ニュースを尋ねてはいけない理由と例外

LLMの知識は学習を終えた時点で止まります。この時点を知識カットオフ(knowledge cutoff、知識の締め切り時点)と呼びます。学習終了後に世界で起きたことはモデル内にありません。昨日のニュース、今日の為替、今週公開の映画などは、原理上知ることができません。

ただし最近のサービスは、ウェブ検索機能でこの限界を補っています。最新情報が必要な質問なら、AIが先に検索し、見つけた文書を根拠に回答を作ります。司書から資料を受け取った語り手のようなものです。自動で検索する場合が多いものの、最新情報を尋ねるときは、回答に実際に出典リンクが付いているか確認するとよいでしょう。確実にしたいなら、「ウェブで探して教えて」と付け加えます。この活用法は第4回で詳しく扱います。

まとめ

  • AIは保存された正解を探すのではなく、その場で文章を作ります
  • 原理は次の単語の予測であり、膨大な学習によってその予測が知識のように機能します
  • 同じ質問に違う答えが返るのは故障ではなく設計です
  • 知識は学習時点で止まり、最新情報はウェブ検索機能で補います

しかし、この原理には影の部分があります。AIの目的が「正解を言うこと」ではなく「もっともらしい文章を作ること」なら、もっともらしいのに間違った内容もいくらでも作れるということです。実際に作ります。それも非常に自信ありげに。次回は、AIが作り出す嘘であるハルシネーションを見分け、対処する方法を扱います。

あわせて読みたい