AI 评审意见分歧的地方，正是修正评估的线索。

论文摘要

LLM 已被广泛用来评估 AI 生成的内容，但单一 LLM 评审存在位置偏差、偏好冗长回答、偏袒自身生成内容等问题。由多个模型组成评审团可以减少这些偏差，但当评审意见不一致时，多数投票只是把冲突丢掉，而没有解决它。

JuryFlow 把这种分歧当作精确到“论断”（claim）层面的信号，用来指出评估在哪里不确定。人不需要重新给整个回答打分，而是作为“结构向导”，选出应该优先解决的那一处冲突，其余由系统完成。

为了进行大规模、可复现的对比，论文实验评估的是一种自动配置：用判定熵（分歧程度）的排序代替人来选择焦点。

方法：五阶段流程

把回答拆解为可验证的论断，并把分歧表示为图，使额外的推理只花在能改变结果的地方。

1. 1. 多智能体结构化评审：来自不同厂商的 5 个 LLM（GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro、Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct）把回答拆成原子论断，并对每个论断给出“接受、拒绝、不确定”的判定和评估维度标签。这一阶段不做汇总或投票。
2. 2. 分歧图：每个论断是一个节点，用判定分布的熵来量化分歧程度。论断之间的边权重由标签相似度和嵌入相似度组合而成。
3. 3. 焦点选择（唯一的人工介入）：系统按分歧程度列出论断，人只需选出先解决哪一个，无需给出判定、标签或理由。实验中由熵排序自动完成这一选择。
4. 4. 传播式重评估：审阅智能体依据证据重新判定焦点论断，再把修正传播到图中强关联的论断，以及通过嵌入检索找到的历史相似案例。
5. 5. 评分标准（rubric）增量更新：把修正转化为包含判断标准、正例和反例的可复用评分条目，此后所有评审都会继承。评估器在使用中不断自我完善。

主要结果：与金标准标签的一致性

主要结论

• 相对最佳单一评审，JuryFlow 在 MT-Bench 上准确率提升 5.3 个百分点（0.804 → 0.857），在 LLMBar 上提升 10.5 个百分点（0.679 → 0.784）；相对多数投票评审团分别高出 2.9 和 6.6 个百分点。
• 在包含易引发评审分歧的对抗样本的 LLMBar 上，提升更明显。
• 在 LLMBar 上，仅对有分歧的论断重评估就比多数投票提升 3.0 个百分点；修正传播再贡献 2.8 个百分点，评分标准更新再贡献 1.2 个百分点。
• 传播阈值呈倒 U 形关系：传播过广（每个样本 8.7 次调用）会把错误扩散到弱相关的论断，准确率降至 0.761；所选设置以每个样本 3.6 次调用达到 0.784。
• 同一模型仅更换角色设定组成的评审团，在 LLMBar 上只有 0.726，几乎与多数投票（0.718）持平。同一模型的评审共享盲点，因此效果依赖真正不同的模型组合。

对 AI 回答评估与 GEO 测量的启示

用 LLM 给 AI 搜索回答的质量或品牌提及打分时，评分本身是否可靠就成了问题。以下是 VeReach 对实务的理解（假设）。

局限与注意事项

• 所有实验都使用自动焦点选择，人工选择模式的效果尚未验证。
• 当所有评审都自信地认同同一个错误时，熵很低，这类错误无法被发现。
• 结果只来自两个英文基准，能否推广到其他语言、长文本回答和其他模态尚未验证。
• 跨案例传播和不断增长的评分标准会增加推理成本，长期运行可能导致标准漂移。

常见问题

什么是 JuryFlow？

JuryFlow 是一个面向 LLM 评审（LLM-as-a-Judge）的人在回路（Human-in-the-Loop）多智能体评估框架。它把评审之间的分歧当作论断层面的不确定性信号，只对有分歧的论断重新评估，并把修正传播到相关案例和评分标准。

它和 LLM 评审的多数投票有什么不同？

多数投票会丢掉分歧，而 JuryFlow 会定位有分歧的论断并依据证据重新评估。在论文实验中，使用同样的 5 模型评审团，它比多数投票在 MT-Bench 上高 2.9 个百分点，在 LLMBar 上高 6.6 个百分点。

需要人参与多少？

按设计，人唯一的操作是选出先解决哪一处分歧，无需输入判定或标签。不过论文实验中这一选择也已自动化，人工选择的效果尚未验证。

这篇论文发表在哪里？

论文收录于 ACM 国际会议 HAI ’26（第 14 届人机智能体交互国际会议，2026 年 11 月 16〜19 日，大阪），并于 2026 年 9 月 30 日在 arXiv（2609.40103）公开。DOI 为 10.1145/3841580.3841619。