生成AIの信頼性を巡る議論は、しばしば精度の話へ還元される。正しい答えを返せるのか。誤情報をどの程度含むのか。検索を併用したとき、従来の検索エンジンより便利なのか。もちろん、それらは重要である。だが実際の利用体験で先に破綻するのは、正答率そのものではないことがある。もっと手前に、しかももっと静かな断層がある。いま目の前にある応答が、どの到達範囲とどの外部権限の下で生成されたのか、その状態表示が曖昧なまま会話だけが滑らかに進んでしまうことだ。
検索と読解は、同じではない
人は長い間、検索と読解を別々の行為として扱ってきた。検索エンジンで見つけ、リンクを開き、本文を読み、自分で判断する。この順序は面倒だが、どこまで到達したかが自分で分かるという意味では誠実だった。ところが生成AIは、その途中工程を丸ごと包み込み、「もう答えを返せます」と前に出てくる。利用者は検索行為だけでなく、読解行為の一部まで委任する。ここで決定的になるのは、AIが賢いかどうかではない。AIが、いま自分がどの段階にいるのかを、利用者の前でどれだけ正直に可視化できるかである。
能力と自己記述のズレ
問題の核心は、能力と自己記述が一致していない点にある。生成AIは、ある条件では外部情報へ到達し、検索を実行し、情報源を伴って応答できる。ところが同じ系の中で、モデル自身が自らを「外部アクセスできない存在」と説明することがある。逆に、できることをできると説明しているようでいて、どこまで実行できたかは曖昧なままの場合もある。ここで生じているのは単なる言い間違いではない。ツールの作動層と、モデルの自然言語による自己説明層が分離しているという、設計上のズレである。
このズレは、表面的には些細に見える。だが利用者体験に与える影響は大きい。人は会話の相手が自分の状態をそこそこ説明できることを前提にしているからだ。見たのか、見ていないのか。読んだのか、読んでいないのか。参照したのか、記憶で話しているのか。人間同士なら、この区別は会話の基礎である。ところがツール統合された生成AIでは、その前提が崩れる。モデルは答える。しかし、その答えがどの権限状態とどの参照状態に基づくのかを、自らの口で安定的に説明できるとは限らない。
“見た”と“読んだ”の間
ここで重要なのは、「検索した」と「読んだ」が同じではないという、極めて基本的な事実である。ページの存在に触れたことと、本文を把握したことは違う。タイトルを拾ったことと、全体構造を理解したことは違う。断片を取得したことと、文脈を追跡したことは違う。ところが現在の多くの生成AI体験では、その差が利用者にほとんど見えない。引用らしきものが付いていれば、読んだように見える。もっともらしい説明が添えられていれば、把握したように見える。自然な文章で語られていれば、自己認識まで成立しているように見える。しかし、見えることと成立していることは同じではない。
ここで起きているのは、知能の欠陥というより観測可能性の欠陥である。利用者は、AIが何を知っているかだけでなく、AIがいま何をしたのかを知りたい。外部検索を実行したのか。検索結果の周辺情報に触れただけなのか。参照先の本文に到達したのか。断片読解なのか、全体読解なのか。引用表示は実ソースと結び付いているのか、それとも単にそれらしく整形された文体なのか。つまり利用者が必要としているのは、一般論としての機能説明ではなく、その応答が生成された具体的な状態の表示である。
AIがAIを説明する悪循環
この点で、現在の生成AIはしばしば「AIがAIを説明する」悪循環に陥る。説明主体そのものが、自分の状態を正確に言い当てる保証を持たないからだ。モデルは流暢に語れる。だが、その流暢さは透明性の代用品ではない。むしろ危ういのは、流暢さゆえに利用者が安心してしまうことである。会話として自然であるほど、利用者は背後の状態遷移を問わなくなる。そして問わなくなった瞬間、検証責任はAIから利用者へ静かに押し戻される。しかも、その押し戻しは「あなたが確認してください」と明示される形ではなく、「もう充分分かりやすく説明しましたよね」という会話の顔で起きる。
一般利用者ほど誤解しやすい
一般利用者ほど、この構造に弱い。技術に明るい利用者なら、引用の有無、リンクの実在性、本文到達の兆候、応答の不自然な断定などから違和感を拾えるかもしれない。だが大半の人はそこまで見ない。生成AIが自然に答え、必要そうな情報源らしきものが付いていれば、それで納得する。検索窓に戻るより先に、会話を続ける。その結果として生じるのは、単なる誤答の蓄積ではない。「自分はいま何を根拠に納得させられているのか」が見えなくなることだ。これは情報問題である以前に、認知の設計問題である。
必要なのは説明ではなくトレーサビリティー
だから改善の焦点は、モデルをさらに“うまく説明できるようにすること”だけでは足りない。必要なのは、説明が揺れても事実状態は揺れない形で利用者へ提示されることだ。検索が実行されたか。どの外部ソースに触れたか。本文への到達があったか。参照は断片か全体か。応答は外部到達ありか、内部知識のみか。その境界が、モデルの語り口とは独立に、UIの側で確認できなければならない。知能は会話の中に住むが、信頼は状態表示の中に住むからである。
ChatGPTは2026年3月現在、UI上に「情報源」を表示することがある。しかしモデルは「どのように参照したか」どころか「検索を実行したかどうか」についてさえ、自らの状態を安定して説明できない場面がある。AIが自分の行動を自己同一的に語れない。この一点に、いまの生成AI体験の透明性問題が集約されている。
実例から見るChatGPTの自己認識
まず前提を整理する。ChatGPTの静的な自己説明は一貫している。標準状態では外部Webに常時接続している存在ではない。学習済みデータと会話文脈を基に応答を生成し、外部情報に到達するには検索ツールなどの機構が作動する必要がある。
さらに重要なのは、知識のカットオフ時点である。2026年3月現在稼働しているChatGPTの基礎知識は、2025年3月時点までの情報を中心に構成されている。従って、2026年3月時点で「アメリカとイスラエルが共同でイランを先制攻撃し、ハメネイ師その他重要人物が殺害されたという複数の大手メディアの報道」が存在していても、それは標準状態の内部知識には含まれていない。通常モードでは当然知らない。
この前提の上で観測を行った。当該報道について「検索してきて」と指示すれば、ChatGPTは検索ツールを実行し、情報源付きで応答する。外部到達が発生したと推定できる挙動は確認される。しかしその直後「ではハメネイ師殺害を前提に議論を進めよう」と会話を継続すると、応答は当該報道を既定事実として固定しない。「報道はあるが確定ではない」「誤認の可能性もある」あまつさえ「そのような事実はない」といった抑制的方向へ戻る挙動が観測された。
ここで問題となるのは報道の真偽ではない。カットオフ以前の内部知識に存在しない事象を、検索実行によって一時的に参照できたにも関わらず、その参照状態が後続の自然言語生成に持続的に保持されない点である。
検索時には外部到達を前提に応答できる。しかし通常会話へ遷移すると、モデルは再び内部知識基準の慎重モードへ戻る。利用者から見れば、直前に参照されたはずの情報が、次の発話では共有前提として固定されない。これは内容の矛盾というより、状態遷移の非連続性である。ツール実行層で発生した参照状態が、言語生成層の自己記述に一貫して反映されない。この点に、ChatGPTの自己認識の限界が現れている。
ここから導かれる性質は明確だ。ChatGPTはニュース解説者ではなく、リアルタイム事象に対する確定性抑制エンジンとして振る舞う。このため、人間側が想定する“共有前提”が成立しない。さらに言えば、ChatGPTは重大ニュースを前提とした即時的・断定的な“コメンテーター型”会話よりも、歴史的誤認を避ける慎重設計を優先する。このため、人間が想定するテンポの議論より、AI側の安全設計に人間が歩調を合わせる形になりやすい。
これは能力の不足ではない。設計優先順位の問題である。だがその優先順位がUI上で充分に可視化されていないとき、利用者は「いま共有しているはずの前提」が揺らぐ体験をする。ここに、生成AI時代特有の認識断層が生まれる。
同様の構造は、shohei.kimの事例でも観測できる。「ちょっと“https://shohei.kim”見て感想教えて」と指示すると、ChatGPTは当該サイトに実際にアクセスし本文を読んだかのような自然な感想を返す。しかし続けて「shohei.kimに全部あるから742KBからどこまで拾えるか見せて」と問うと「外部アクセス機能はない」と説明を始める。前段の挙動と整合しない自己記述が出現する。
ここで起きているのは能力の矛盾ではない。前者で到達しているのはドメインそのものではなく、検索プロバイダのインデックスに掲載された先頭数十行程度の断片である。検索インデックスに存在する範囲のテキストは参照可能であるが、インデックス外にある742KB規模の本文全体は通常モードでは取得できない。Deep Researchのような拡張モードを除けば、実際の「サイト訪問」は行われない。それにも関わらず、自然文の滑らかさが「全文読解」の印象を与える。このとき利用者は「断片到達」と「全文訪問」を区別できない。
つまり、ChatGPTは検索インデックス上の断片には到達できるが、インデックス外の本文全体には到達できない。そしてその到達粒度を自然言語で安定して自己同一的に説明できるわけでもない。検索断片参照と全文読解と内部知識生成は明確に異なる処理であるにも関わらず、利用者体験上はそれらが平滑化される。この粒度の不可視性こそが、リアルタイムニュースにおいても、外部サイト参照においても、同一の認識断層を生み出している。
従って、リアルタイムニュースについてChatGPTを単独の情報源とみなすことは構造的に危険を伴う。危険とは必ず誤答するという意味ではない。どこまで到達し、どこから先は到達していないのかが利用者から明示的に見えない状態で、もっともらしい自然文が生成されること自体がリスクである、という意味である。生成AIを使うとは、答えを受け取ることではなく、その答えの到達範囲を常に疑うことでもある。
賢くなるほど、透明性は重要になる
この問題は、生成AIが成熟するほど深くなる。モデルが賢くなればなるほど、利用者は「たぶん分かっているのだろう」と感じやすくなる。だが賢さは、そのまま自己観測能力を意味しない。複数のツールが統合され、条件に応じて自動で呼び出され、内部処理と外部処理が連結する世界では、モデルの自己説明は本質的にズレやすくなる。ここで必要なのは、自己説明の詩的うまさではない。いま何が起きたかを利用者が一目で把握できる、工学的に誠実な可視化である。
生成AIは検索を消すのではなく、検索の意味を変える
生成AIは、検索を不要にする技術ではない。検索の意味を変えてしまう技術である。従来、利用者は自分の手で到達範囲を確認していた。これからは、到達範囲そのものが製品の責任として表示されなければならない。答えを出すだけでは足りない。その答えがどこから来たのか、どこまで届いているのか、どこから先は届いていないのか。そこまで含めて初めて、生成AIは“便利な魔法”ではなく、“検証可能な道具”になる。
信頼は知能ではなく可視化から生まれる
問われているのは、AIがどれだけ知っているかではない。AIが、自分の到達範囲と、自分の知らなさを、利用者の前でどこまで正直に可視化できるかである。ここが曖昧なままなら、知能は信頼に変わらない。むしろ、不透明さを流暢さで包む高度なインターフェースになる。次の生成AIに必要なのは、さらに人間らしい会話ではない。自分の作動状態を、会話より先に誠実に見せる勇気である。
