論文の概要: JuryFlow: Disagreement-Guided Human-in-the-Loop Multi-Agent Evaluation
- arxiv url: http://arxiv.org/abs/2609.40103v1
- Date: Wed, 30 Sep 2026 16:36:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:28.091904
- Title: JuryFlow: Disagreement-Guided Human-in-the-Loop Multi-Agent Evaluation
- Title（参考訳）: JuryFlow: 診断誘導型ヒューマン・イン・ザ・ループマルチエージェント評価
- Abstract要約: JuryFlowは、マルチエージェント評価フレームワークである。
人間は構造的なガイドとして働き、どの不一致を解決すべきかを選択する。
JuryFlowは、単一ジョブと多数投票のパネルベースラインに対するゴールドレーベルとの合意を改善している。
- 参考スコア（独自算出の注目度）: 0.8411385346896411
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed as automated judges for AI-generated content, yet a single judge is unreliable and even a panel of judges leaves a hard residue: when judges disagree, majority voting discards the conflict instead of resolving it. We present JuryFlow, a disagreement-guided, human-in-the-loop multi-agent evaluation framework that treats inter-judge disagreement not as noise to be averaged away, but as a precise, claim-level signal indicating where an evaluation is uncertain. JuryFlow decomposes each candidate response into atomic claims, has a panel of heterogeneous judges assign per-claim verdicts, and builds a disagreement graph whose nodes are scored by verdict entropy and whose edges encode structural similarity between claims. A human acts as a structural guide, selecting which disagreement to resolve through a single, minimal intervention rather than re-labeling the response, after which the focal claim is re-evaluated, the correction propagates along graph edges and to historically similar cases, and is crystallized into reusable rubric entries that all judges inherit, making the evaluator progressively self-refining. To enable large-scale, reproducible benchmarking without human studies, we evaluate JuryFlow in an automatic configuration in which focal selection is made by entropy ranking. On MT-Bench and LLMBar, JuryFlow improves agreement with gold labels over single-judge and majority-vote panel baselines, and ablations isolate the contributions of disagreement-targeted re-evaluation, propagation, and rubric induction. We contribute (1) a human-in-the-loop paradigm that recasts the human from labeler to structural guide, (2) the JuryFlow framework operationalizing it through a disagreement graph, focal re-evaluation, and closed-loop rubric induction, and (3) an evaluation protocol with ablations that isolate where the gains originate.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、AI生成コンテンツの自動化された審査員としてますますデプロイされているが、単一の審査員は信頼できず、審査員のパネルさえも難しい残余を残している。
提案するJuryFlowは、アセスメントが不確実であることを示す正確なクレームレベル信号として、アセスメント間の不一致を平均化すべきノイズとして扱うための、不一致誘導型マルチエージェント評価フレームワークである。
JuryFlowは、各候補の応答をアトミックなクレームに分解し、不均一な審査員のパネルが定義ごとの評定を割り当て、検証エントロピーによってノードが得点され、クレーム間の構造的類似性をエンコードする不一致グラフを構築する。
人間は構造的ガイドとして機能し、応答を再評価するよりも、単一の最小限の介入によって解決する意見の不一致を選択する。その後、焦点のクレームが再評価され、その補正はグラフエッジと歴史的に類似したケースに沿って伝播し、すべての裁判官が継承する再利用可能なルービックエントリに結晶化され、評価者が徐々に自己精製される。
人間の研究を伴わずに大規模かつ再現可能なベンチマークを可能にするため,焦点選択をエントロピーランキングで行う自動構成でJuryFlowを評価した。
MT-Bench と LLMBar では、JuryFlow はシングルジャッジと多数投票のパネルベースラインに対するゴールドラベルとの合意を改善し、Ablations は不一致を目標とした再評価、伝播、ルーリック誘導の貢献を分離する。
我々は,(1)ラベルから構造ガイドへ人間をリキャストする「ループ・イン・ザ・ループ」パラダイム,(2)不一致グラフ,焦点再評価,閉ループルーブリック誘導を通じてそれを運用する「JuryFlow」フレームワーク,(3)利得の起点を識別するアブレーション付き評価プロトコルを提案する。
関連論文リスト
- RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。
本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
論文 参考訳（メタデータ） (2026-08-25T08:35:04Z) - CyberJurors: A Multi-Agent Simulation Task for E-Commerce Disputes Verdict [59.06704011432714]
電子商取引プラットフォームは、大量の取引紛争を判断するためにクラウドソースの陪審員を募集し始めた。
本稿では,先駆的タスクであるEDV(E-Commerce Dispute Verdicts)と,6,000件の現実世界のケースからなるマルチモーダルベンチマークであるVerdictBenchを紹介する。
本稿では,論争ロジックを明確にし,判定プロセスを制御するマルチエージェントフレームワークであるCyberJurorsを提案する。
論文 参考訳（メタデータ） (2026-05-27T12:07:44Z) - Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement [50.34437999083224]
オートレーダは、評価と自動モデレーションコンテンツにますます使われています。
ヒトとオートレーダの両方に提示されるルーブリックの修正がスコアアグリーメントにどのように影響するかは、統計学的に限定されている。
論文 参考訳（メタデータ） (2026-05-07T13:55:11Z) - Aggregate vs. Personalized Judges in Business Idea Evaluation: Evidence from Expert Disagreement [4.814048071575166]
分析では、微粒な順序のスコアについてかなりの専門家の意見の相違が示され、一方、合意は粗い選択の下で高い。
次に、ゼロショット判定器、混合評価器の履歴に規定された集計判定器、対象評価器のスコアリング履歴に規定されたパーソナライズされた判定器の3つの構成を比較した。
パーソナライズド・ジャッジは、次元やモデルサイズ全体にわたって、アグリゲーション・ジャッジよりも対応する評価者とより緊密に一致し、評価者合意はパーソナライズド・コンディショニング(パーソナライズド・コンディショニング)の下でのみ、判断生成推論の類似性と相関する。
論文 参考訳（メタデータ） (2026-04-24T12:56:54Z) - Toward Robust LLM-Based Judges: Taxonomic Bias Evaluation and Debiasing Optimization [44.252712888022835]
大規模言語モデル(LLM)に基づく審査員は、自動評価と報酬モデリングに広く採用されている。
LLMに基づく審査員のバイアスを系統的に定量化するためのベンチマークであるJiceBiasBenchを提案する。
我々は、生成的および差別的な裁判官の両方にまたがって実験を行い、現在の裁判官が有意かつ多様なバイアスパターンを示すことを明らかにした。
論文 参考訳（メタデータ） (2026-03-09T08:32:21Z) - C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。
C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか?
二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
論文 参考訳（メタデータ） (2026-03-05T13:36:47Z) - CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation [6.3121191919394475]
この研究は、ベンチマークスコアの分散をシナリオ、生成、判断、残留コンポーネントに分割する分散分解を導入する。
この分析に基づいて, 審査員のシナリオへのラウンドロビンの割り当てであるCyclicJudgeが, 一定の審査-呼出予算の最適戦略であることを実証した。
論文 参考訳（メタデータ） (2026-03-02T13:46:32Z) - CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。
CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
論文 参考訳（メタデータ） (2025-07-12T01:34:24Z) - JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。
我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。
さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
論文 参考訳（メタデータ） (2024-10-31T18:43:12Z) - JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。
審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
論文 参考訳（メタデータ） (2024-10-16T17:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。