AIの審査員が割れたところに、評価を正す手掛かりがある。

論文の要旨

LLMはAIが生成した文章の評価に広く使われていますが、単一のLLM審査員には、提示順や長さ、自分の生成物を好むといったバイアスがあります。複数のモデルで審査団を作るとバイアスは減りますが、審査員の意見が割れたとき、多数決はその対立を解決せずに捨ててしまいます。

JuryFlowは、この意見の割れを、評価が不確かな箇所を主張（クレーム）単位で示す精密なシグナルとして扱います。人は回答全体を採点し直すのではなく、どの対立を解決すべきかを一つ選ぶ「構造的なガイド」の役割を担い、残りはシステムが処理します。

大規模で再現可能な比較を行うため、論文の実験では人の代わりに、判定のエントロピー（割れ具合）の順位で焦点を自動選択する構成を評価しています。

方法：5段階のパイプライン

回答を検証可能な主張に分解し、意見の割れをグラフとして扱うことで、追加の推論を必要な箇所に集中させます。

1. 1. 複数エージェントによる構造化審査：提供元の異なる5つのLLM（GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro、Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct）が、回答を原子的な主張に分解し、それぞれに「採用・却下・不確か」の判定と評価観点のタグを付けます。この段階では集計も投票もしません。
2. 2. 意見の割れグラフ：各主張をノードとし、判定の分布のエントロピーで割れ具合を数値化します。主張どうしは、タグの類似度と埋め込みの類似度を組み合わせた重みでつながります。
3. 3. 焦点の選択（唯一の人の介入）：システムは割れの大きい主張を上位から提示し、人はどれを先に解決するかを一つ選ぶだけです。判定やラベル、理由の入力は求めません。実験ではこの選択をエントロピー順位で自動化しています。
4. 4. 伝播する再評価：レビュアーのエージェントが焦点の主張を根拠に基づいて再判定し、その修正を、グラフ上で強くつながる主張と、埋め込み検索で見つけた過去の類似事例へ広げます。
5. 5. 評価基準（ルーブリック）の更新：修正を、基準文・正例・負例からなる再利用可能なルーブリック項目に変換し、以後すべての審査員が引き継ぎます。評価器は使うほど自己改善していきます。

主な結果：正解ラベルとの一致

主な結論

• JuryFlowは最良の単一審査に対し、MT-Benchで5.3ポイント（0.804 → 0.857）、LLMBarで10.5ポイント（0.679 → 0.784）正解率を高め、多数決の審査団もそれぞれ2.9ポイント、6.6ポイント上回りました。
• 改善は、審査員の意見が割れやすい敵対的な事例を含むLLMBarで大きくなりました。
• LLMBarでは、割れた主張だけを再評価するだけで多数決から3.0ポイント改善し、修正の伝播が2.8ポイント、ルーブリックの更新が1.2ポイントを上積みしました。
• 伝播のしきい値には逆U字型の関係があり、広げすぎると（1件あたり8.7回の呼び出し）弱く関連した主張に誤りが広がって正解率は0.761に下がりました。採用した設定では1件あたり3.6回の呼び出しで0.784です。
• 同じモデルでペルソナだけを変えた審査団はLLMBarで0.726と、多数決（0.718）とほとんど変わりませんでした。同じモデルの審査員は盲点も共有するため、効果には異なるモデルの組み合わせが必要です。

AI回答の評価・GEO計測への示唆

AI検索の回答品質やブランドの言及をLLMで採点するとき、評価そのものの信頼性が問題になります。以下はVeReachによる実務への読み替え（仮説）です。

限界と注意点

• 実験はすべて自動選択モードで行われ、人が焦点を選ぶモードの効果は検証されていません。
• 審査員全員が同じ誤りに自信を持って合意する場合、エントロピーは低くなり、その誤りは検出できません。
• 英語のベンチマーク2つでの結果で、他の言語、長文の回答、他のモダリティへの一般化は未検証です。
• 事例間の伝播やルーブリックの増加は推論コストを増やし、長期運用では基準のドリフトを招くおそれがあります。

よくある質問

JuryFlowとは何ですか？

JuryFlowは、LLMを審査員として使う評価（LLM-as-a-Judge）のための、人が介在する（Human-in-the-Loop）マルチエージェント評価の枠組みです。審査員どうしの意見の割れを主張単位の不確実性シグナルとして扱い、割れた箇所だけを再評価して、その修正を関連事例と評価基準に広げます。

LLM-as-a-Judgeの多数決と何が違いますか？

多数決は意見の割れを捨ててしまいますが、JuryFlowは割れた主張を特定して根拠に基づき再評価します。論文の実験では、同じ5モデルの審査団で、多数決よりMT-Benchで2.9ポイント、LLMBarで6.6ポイント正解率が高くなりました。

人はどの程度関わる必要がありますか？

設計上、人の操作は「どの意見の割れを先に解決するか」を一つ選ぶことだけで、判定やラベルの入力は不要です。ただし論文の実験ではこの選択も自動化しており、人が選ぶ場合の効果はまだ検証されていません。

この論文はどこで発表されましたか？

ACMの国際会議 HAI ’26（第14回 Human-Agent Interaction 国際会議、2026年11月16〜19日、大阪）の論文で、2026年9月30日にarXiv（2609.40103）で公開されました。DOIは 10.1145/3841580.3841619 です。