RESEARCH|CONVERSATIONAL CAPTURE
AI検索のGEOは、1回の回答ではなく会話全体で評価する。
Conversational Captureは、GEO(生成エンジン最適化)の効果を1回の回答ではなく、複数ターンの会話全体で評価するための枠組みです。会話の早い段階で引用された情報源は、その後のターンでも引用されやすくなります。論文はこの「会話的捕捉」を定式化し、単発の評価ではGEO施策の順位づけを誤りうることを示しました。
モデル計算で示された主な数値
- 10ターン時点の複利比率 ρ(単発評価からの外挿に対する実際の利得の比)
- 2.23
- 会話の閉ループで生じる利得が、単発で捉えられる利得を上回る
- 1.48 > 1.20
- 単発と会話全体でのGEO手法の順位の一致度(Kendall)
- τ = 0.4
- ランダムな5手法の組(5万通り)で順位が食い違った割合
- 90%
いずれも論文のモデルから導いた計算例で、実際のAI検索エンジンを測定した値ではありません。
論文の要旨
これまでのGEO評価は、あるクエリに対する1回の回答の中で、情報源がどれだけ目立つかを測る「単発(シングルターン)」の評価が中心でした。この方法は、質問が外から与えられ、各ターンが互いに独立しているという前提に立っています。
しかし実際の会話では、AIの回答がユーザーの理解を変え、それが次の質問を変えます。GEOによって回答がある情報源に寄ると、その偏りは、検索と生成が会話履歴に条件づけられる「機械側」の経路と、ユーザーの追加質問がその情報源の方向へ向かう「人間側」の経路を通じて、後のターンにも引き継がれます。論文はこれを「会話的捕捉(conversational capture)」と名付けました。この持続は、その情報源がいまのユーザーのニーズに合っているかどうかとは切り離されうる点が重要です。
論文は新しいGEO手法やベンチマークを提案するものではなく、評価の単位そのものを問い直す理論研究です。人によるアノテーションは収集しておらず、示される数値はすべてモデルから導いた計算例です。
方法:会話を閉ループとして定式化する
ユーザー層(情報ニーズの更新と質問の生成)とエージェント層(検索と回答の生成)からなる2層の閉ループ系として会話をモデル化し、会話全体で計算できる指標を定義しています。
- 累積会話可視性(CCV):各ターンの可視性を会話全体で足し合わせた量です。位置調整済み語数やLLMによる印象スコアなど、既存のGEO指標をそのままターンごとに使えます。
- 直接項とフィードバック項:会話全体での利得を、単発評価から外挿できる「直接項」と、会話の閉ループでしか生じない「フィードバック項」に分解します。フィードバック項は単発評価では常にゼロになります。
- 機械側M1と人間側M2:フィードバック項を、入れ子の反事実比較によって、会話履歴による再引用(M1)と、ユーザーの質問の向きの変化(M2)に分けます。M1はユーザーモデルなしで、履歴あり・なしのエンジンの比較から測定できます。
- 捕捉係数・複利比率・誤順位診断:前のターンで引用されたことが次の引用確率をどれだけ上げるか(捕捉係数 κ)、単発評価からの外挿に対する実際の利得の比(複利比率 ρ)、単発と会話全体でのGEO手法の順位の一致度(Kendall の τ)を定義します。
- 理論解析:ポリアの壺(強化過程)の理論を用いて、早いターンの優位が最終結果を左右する経路依存性(非エルゴード性)と、捕捉が進む間はGEOの累積利得が会話の長さに対して超線形に伸びることを証明しています。
モデル計算例:10ターンでの利得の分解
| 指標 | 値 |
|---|---|
| 単発の利得 L1 | 0.120 |
| 単発からの単純外挿 T·L1 | 1.200 |
| 直接項 | 1.200 |
| フィードバック項 | 1.481 |
| うち機械側 M1 | 0.851 |
| うち人間側 M2 | 0.630 |
| 会話全体の利得 LT | 2.681 |
| 複利比率 ρ | 2.234 |
主な結論
- モデル計算例では、10ターンの会話全体の利得(2.68)のうち、単発評価で捉えられる直接項は1.20にとどまり、閉ループで生じるフィードバック項(1.48)の方が大きくなりました。
- 複利比率は10ターンで2.23に達し、単発評価からの外挿の2倍以上の利得になります。会話が長くなるほど過小評価は広がり、上限(この例では約4.17)に近づきます。
- 5つのGEO手法を比較した例では、単発評価で1位の手法が会話全体では3位にとどまり、順位の一致度は Kendall の τ = 0.4 でした。
- ランダムに作った5手法の組5万通りでも、90%で順位が食い違い、48%で単発評価の1位が会話全体の1位ではありませんでした。
- ユーザーが「独立に確認されている?」といった確認型の追加質問で競合へ向かう場合は、人間側の経路がマイナスになり、単発評価はGEOを過大評価します。どちらの向きでも、単発評価には偏りが残ります。
GEO・LLMO 実務への示唆
以下は論文の理論をVeReachが実務に当てはめた読み方(仮説)です。実際のエンジンでの効果量は、論文でもまだ測定されていません。
単発の引用率で最も良く見える施策が、会話全体で最良とは限りません。重要なテーマは、追加質問を含む複数ターンの会話で確かめる価値があります。
経路依存性の結果から、GEOの影響は会話の早いターンに集中します。最初の質問で引用される情報源になることが、その後の会話を左右します。
人間側の経路は、回答を読んだユーザーが次に何を聞くかで決まります。比較、料金、導入事例など、次に知りたくなる情報を自社の情報源の中に用意しておくことが合理的です。
論文は回答エンジン側の対策として、ターンごとの再グラウンディング、情報源の多様性の確保、引用理由の透明化を挙げています。捕捉だけに頼る施策は弱められうるため、実際の関連性と信頼性を高めることが前提になります。
限界と注意点
- 理論・モデル研究であり、実際のAI検索エンジンや実ユーザーでの測定は行っていません。示された数値はすべてモデルから導いた計算例です。
- 機械側M1と人間側M2の配分(0.35 / 0.25)は説明用で、実際の値は今後の実証研究で推定する必要があります。
- モデルはGEO最適化した情報源と、その他をまとめた競合との2者の競争を中心に扱っており、複数の最適化済み情報源どうしの競争は範囲外です。
- 論文は次のステップとして、TopiOCQA、QReCC、ORConvQAなどの会話型QAコーパスを用いた実証プロトコルを示しています。
よくある質問
- Conversational Capture(会話的捕捉)とは何ですか?
- 生成AIとの多ターン会話で、早いターンで引用された情報源が、後のターンでも引用されやすくなる現象です。会話履歴に条件づけられた検索(機械側)と、回答に誘導された追加質問(人間側)の2つの経路で起こり、その情報源がいまのニーズに合っているかとは切り離されうるとされます。
- なぜ単発のGEO評価では不十分なのですか?
- 単発評価は、質問が外から与えられ各ターンが独立しているという前提に立つため、回答が次の質問を変える閉ループの効果(フィードバック項)が常にゼロとして扱われます。論文のモデル計算例では、この見落とされる部分が単発で捉えられる部分より大きくなり、GEO手法の順位も食い違いました。
- この論文はどこで発表されましたか?
- ACMの国際会議 HAI ’26(第14回 Human-Agent Interaction 国際会議、2026年11月16〜19日、大阪)の論文で、2026年9月30日にarXiv(2609.40069)で公開されました。DOIは 10.1145/3841580.3841626 です。
- GEO・LLMO施策では何を変えるべきですか?
- 単発の引用率だけで施策を判断せず、重要なテーマは追加質問を含む会話全体で確かめること、そして最初の回答で引用される信頼性の高い情報源になることが示唆されます。ただし実際のエンジンでの効果量は、論文でもまだ測定されていません。
論文情報
- タイトル
- Conversational Capture: A Trajectory-Level Framework for Evaluating Generative Engine Optimization in Multi-turn Human-Agent Interaction
- 著者
- Junwei Yu (The University of Tokyo), Jieyu Zhou (UniConvo Inc.), Mufeng Yang (University of Tsukuba), Yepeng Ding (Hiroshima University), Hiroyuki Sato (National Institute of Informatics)
- 掲載
- HAI ’26: 14th International Conference on Human-Agent Interaction (ACM), Osaka, Japan
- 公開日
- 2026年9月30日
- 識別子
- arXiv:2609.40069 [cs.HC] · DOI: 10.1145/3841580.3841626
- キーワード
- GEO(生成エンジン最適化)
- LLMO
- 会話型AI検索
- 多ターン評価
- RAG
- AI引用
- 経路依存性
- ChatGPT
VeReachのGEO研究シリーズ
GEO-SFEは「AIに引用される構造」、Conversational Captureは「会話全体でのGEO評価」、JuryFlowは「AIによる評価の信頼性」を扱う研究です。
- GEO-SFE:AIの引用は構造で動く
Structural Feature Engineering for Generative Engine Optimization: How Content Structure Shapes Citation Behavior
Junwei Yu, Mufeng Yang, Yepeng Ding, Hiroyuki Sato · 2026年3月31日
内容を変えずに構造だけを最適化し、主要6つの生成エンジンで引用率 +17.3%。見出し・段落・リスト・強調・内部リンクの5原則。
- JuryFlow:LLM審査の意見の割れを活かす
JuryFlow: Disagreement-Guided Human-in-the-Loop Multi-Agent Evaluation
Mufeng Yang, Junwei Yu, Yepeng Ding · 2026年9月30日
複数LLM審査員の意見の割れを不確実性のシグナルとして再評価に使い、LLMBarで正解率 0.718 → 0.784(多数決比)。HAI ’26論文。