論文の概要: Beyond Consensus: Downward Bias and Role Asymmetry in Multi-Agent LLM Judges for Subjective Evaluation
- arxiv url: http://arxiv.org/abs/2608.30373v1
- Date: Mon, 31 Aug 2026 07:28:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.283948
- Title: Beyond Consensus: Downward Bias and Role Asymmetry in Multi-Agent LLM Judges for Subjective Evaluation
- Title（参考訳）: 合意を超えて: 主観的評価のためのマルチエージェントLLM審査における下向きバイアスと役割非対称性
- Abstract要約: 我々は,主観的評価タスクにおいて,コンセンサスに基づくMADプロトコルと比較した。
我々の主張は、この性能低下は相互作用自体よりも、主に非対称的な役割に起因していることを示している。
これらの結果から, マルチエージェントのコンセンサスは, 真のヒトのアライメントを犠牲にして, 人工的なアライメントを強制できることが示唆された。
- 参考スコア（独自算出の注目度）: 20.285213577666315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-Agent Debate (MAD) has been widely adopted to improve LLM-based evaluation by prompting multiple agents to negotiate and reach a consensus. However, for subjective rubric-based scoring, inter-agent agreement does not guarantee alignment with human judgments. In this paper, we compare a single-judge baseline against a consensus-based MAD protocol on subjective evaluation tasks and design three ablations to isolate the impact of role prompting, multi-round interaction, and explicit score sharing. Evaluations across six LLMs show that the single-judge baseline achieves the strongest human alignment on average across six judge models, whereas MAD shows degradation in human alignment on both tasks. Our ablations demonstrate that this performance drop stems primarily from asymmetric role prompting rather than the interaction itself. Specifically, assigning a strict judge role introduces a systematic downward bias that the consensus process fails to correct. The central finding is that this bias reflects strict-stance dominance beyond averaging: the consensus score falls well beyond the arithmetic midpoint of the standalone strict and lenient conditions, rather than averaging them out. Removing role asymmetry (Symmetric MAD) largely recovers baseline performance, while masking peer scores widens inter-agent disagreement on average and worsens average human alignment. These findings demonstrate that multi-agent consensus can enforce artificial agreement at the expense of true human alignment, revealing a structural limitation in consensus-style, role-specialized MAD protocols for subjective scoring.
- Abstract（参考訳）: マルチエージェント・ディベート(MAD)は、複数のエージェントが交渉し合意に達するよう促すことにより、LCMに基づく評価を改善するために広く採用されている。
しかしながら、主観的ルーリックに基づくスコアリングでは、エージェント間合意は人間の判断と一致することを保証しない。
本稿では,主観評価課題に対するコンセンサスに基づくMADプロトコルと比較し,役割促進,多ラウンドインタラクション,明示的なスコア共有の影響を分離するための3つのアプローチを提案する。
6つのLCMで評価したところ、単一のジャッジベースラインは6つの判断モデルの平均的なヒトのアライメントを達成し、MADは両タスクにおけるヒトのアライメントの低下を示す。
我々の主張は、この性能低下は相互作用自体よりも、主に非対称的な役割に起因していることを示している。
具体的には、厳格な判断ロールを割り当てると、コンセンサスプロセスが正しくないような体系的な下方バイアスが発生する。
この偏見は、平均よりも厳密な支配を反映している、という中心的な発見である: 合意スコアは、平均的にではなく、スタンドアローンの厳密で寛大な条件の算術的な中間点をはるかに超えている。
Symmetric MAD (Removing Role 非対称性) は, 平均的なヒトのアライメントを低下させる一方, ピアスコアは, 平均的なヒトのアライメントにおいて, エージェント間の不一致を拡大する。
これらの結果から,マルチエージェント・コンセンサスは真のヒトのアライメントを犠牲にして人工的なアライメントを強制できることが示唆された。
関連論文リスト
- On the Adversarial Robustness of Multimodal LLM Judges [49.80009278197918]
審査員として機能する汎用MLLMの対角的堅牢性を評価するための最初のフレームワークであるRobustMLLMJudgeを紹介する。
RobustMLLMJudgeを用いて、異なるMLLM審査員は、スコアを膨らませる敵攻撃に対して非常に脆弱であることを明らかにした。
MGSIAは,MLLM審査員に対するより効果的かつ伝達可能な攻撃を可能にするために,これらの制約を回避した新しい手法である。
論文 参考訳（メタデータ） (2026-06-14T05:30:20Z) - MADRAG: Multi-Agent Debate with Retrieval-Augmented Generation for Training-Free Analytic Essay Scoring [6.092300706830162]
分析エッセイ評価のためのトレーニングフリーフレームワークであるMADRAGについて述べる。
支持者は強み、懐疑的な弱みを識別し、裁判官は彼らの議論を最終スコアに集約する。
論文 参考訳（メタデータ） (2026-06-04T22:32:47Z) - Stability vs. Manipulability: Evaluating Robustness Under Post-Decision Interaction in LLM Judges [0.519554837386174]
本研究では, 意思決定後の操作性について検討し, 審査員との会話を通じて評価結果が変更できる程度について検討した。
LLM審査員は、反復的かつ中立的な再評価の下で非常に安定しているが、目標決定後の課題下では、かなり可逆的になる。
これらの逆転は、人間の嗜好との合意を低下させ、ベンチマークのランクをシフトさせ、自己報告の信頼性が高いにもかかわらず有害な評価変更を発生させるという、実践的な結果をもたらす。
論文 参考訳（メタデータ） (2026-06-03T19:37:23Z) - Mitigating Perceptual Judgment Bias in Multimodal LLM-as-a-Judge via Perceptual Perturbation and Reward Modeling [35.945096782147864]
MLLMの裁判官は、視覚的証拠がテキストの手がかりと矛盾する場合、知覚的に正しい答えに対して、もっともらしい物語に報いる傾向がある。
本稿では,最小限に編集された反事実応答を構成するPerceptually Perturbed Judgmentデータセットを提案する。
我々は、構造化GRPOベースの報酬とバッチレベルの目標を組み合わせた統一的なトレーニングフレームワークを開発し、明示的なペアワイドラベルを使わずにコヒーレントなグローバルオーダを実現する。
論文 参考訳（メタデータ） (2026-06-01T17:59:46Z) - Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement [50.34437999083224]
オートレーダは、評価と自動モデレーションコンテンツにますます使われています。
ヒトとオートレーダの両方に提示されるルーブリックの修正がスコアアグリーメントにどのように影響するかは、統計学的に限定されている。
論文 参考訳（メタデータ） (2026-05-07T13:55:11Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - MERRY: Semantically Decoupled Evaluation of Multimodal Emotional and Role Consistencies of Role-Playing Agents [41.829135334587626]
MERRYは、ロールプレイングエージェントのマルチモーダル感情とロールの組み合わせを評価するための意味的に分離された評価フレームワークである。
我々は,従来の主観的スコアリング手法を,新たな双方向証拠抽出タスクに変換する。
我々はMERRYに基づいて広範囲な評価を行う。
論文 参考訳（メタデータ） (2026-02-24T02:53:58Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - UDA: Unsupervised Debiasing Alignment for Pair-wise LLM-as-a-Judge [23.497453639857852]
本研究では,エロ評価システムを動的に調整することで,不一致を解消する枠組みであるUDAを提案する。
UDAは、すべての裁判官のエロ軌道間の分散を最小限にすることを目的として、完全に教師なしの方法で運営されている。
実験の結果、UDA は Judge の標準偏差を 63.4% まで減少させ、人間の判断との平均的相関を 24.7% 向上させることがわかった。
論文 参考訳（メタデータ） (2025-08-13T11:41:01Z) - Judging with Many Minds: Do More Perspectives Mean Less Prejudice? On Bias Amplifications and Resistance in Multi-Agent Based LLM-as-Judge [70.89799989428367]
我々は、位置バイアス、冗長性バイアス、チェーンオブ思考バイアス、バンドワゴンバイアスの4つの多様なバイアスタイプを体系的に分析する。
広く採用されているマルチエージェントLLM-as-JudgeフレームワークであるMulti-Agent-DebateとLLM-as-Meta-Judgeでこれらのバイアスを評価する。
論文 参考訳（メタデータ） (2025-05-26T03:56:41Z) - Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。
ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。
我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
論文 参考訳（メタデータ） (2025-04-20T19:05:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。