論文の概要: Pair Difficulty Matters: Rethinking Pairwise LLM-as-a-Judge Evaluation and Consistency

• arxiv url: http://arxiv.org/abs/2609.37577v1
• Date: Tue, 29 Sep 2026 13:40:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.570771
• Title: Pair Difficulty Matters: Rethinking Pairwise LLM-as-a-Judge Evaluation and Consistency
• Title（参考訳）: LLM-as-a-Judgeの評価と一貫性の再考
• Abstract要約: 大規模言語モデル判事は、テキストとテキスト生成システムのランク付けに広く使用されている。 審査員はランクギャップ条件の指標で評価され、理想的には人格に対して評価されるべきである。
• 参考スコア（独自算出の注目度）: 1.2747974581480312
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Model judges are widely used to rank texts and text-generating systems through pairwise comparison, and their reliability is typically assessed via three proxies: position bias, transitivity, and pairwise agreement (self- or human-labeled). Because these proxies drive judge selection and benchmarking, a substantial literature reporting that judges perform poorly on them risks steering practitioners away from otherwise capable evaluators. We argue this assessment is misleading. Under the Bradley--Terry geometry underlying pairwise aggregation, each proxy is dominated by close-rank-gap pairs, where inconsistency is information-theoretically expected and individual verdicts contribute little to the aggregate ranking; far-gap pairs carry the ranking signal but barely move the proxies. We formalize this argument and validate it in a controlled simulation and on two human-rated corpora: the proxies correlate only weakly with ranking accuracy against gold, and their predictive component concentrates in the far-gap regime. Judges should therefore be assessed on rank-gap-conditional metrics, ideally against human rankings. Code at https://github.com/brunobrocai/PairDifficulty.
• Abstract（参考訳）: 大きな言語モデル判事は、ペアワイズ比較を通じてテキストとテキスト生成システムのランク付けに広く使用され、その信頼性は3つのプロキシ(位置バイアス、推移性、ペアワイズ合意(自己または人間ラベル))を通じて評価される。 これらのプロキシによって審査員の選択とベンチマークが促進されるため、審査員が成績が悪くなるというかなりの文献報告は、実践者が他の有能な評価者から遠ざかるリスクを負っている。 我々はこの評価が誤解を招くと主張している。 ブラッドリー-テリー幾何学の下では、各プロキシは、情報理論上は不整合が期待され、個々の評定は集計ランクにはほとんど寄与しない。 我々はこの議論を定式化し、制御されたシミュレーションと2つの人格コーパスで検証する:プロキシは金に対するランキング精度と弱い相関しか持たず、それらの予測成分は遠ギャップ体制に集中している。 したがって、審査員は、理想的にはヒトのランクに対して、ランクギャップ条件で評価されるべきである。 コードネームはhttps://github.com/brunobrocai/PairDifficulty。

関連論文リスト

• On the Adversarial Robustness of Multimodal LLM Judges [49.80009278197918]
  審査員として機能する汎用MLLMの対角的堅牢性を評価するための最初のフレームワークであるRobustMLLMJudgeを紹介する。 RobustMLLMJudgeを用いて、異なるMLLM審査員は、スコアを膨らませる敵攻撃に対して非常に脆弱であることを明らかにした。 MGSIAは,MLLM審査員に対するより効果的かつ伝達可能な攻撃を可能にするために,これらの制約を回避した新しい手法である。
  論文  参考訳（メタデータ） (2026-06-14T05:30:20Z)
• Correct Looks Better: Pairwise Comparisons Reveal Accuracy Rankings [30.711773754965986]
  本研究では, 対比較によるモデルランキングは, 比較対象の真理が得られれば, 地中真理に基づく精度ランキングと強く一致することを示す。 いずれの解答も正解であるようなペアで発生する判断がほとんどであるにもかかわらず、スタイルと判断バイアスはモデルランキングに小さな影響しか与えないことがわかった。
  論文  参考訳（メタデータ） (2026-06-08T12:26:54Z)
• Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement [50.34437999083224]
  オートレーダは、評価と自動モデレーションコンテンツにますます使われています。 ヒトとオートレーダの両方に提示されるルーブリックの修正がスコアアグリーメントにどのように影響するかは、統計学的に限定されている。
  論文  参考訳（メタデータ） (2026-05-07T13:55:11Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• UDA: Unsupervised Debiasing Alignment for Pair-wise LLM-as-a-Judge [23.497453639857852]
  本研究では,エロ評価システムを動的に調整することで,不一致を解消する枠組みであるUDAを提案する。 UDAは、すべての裁判官のエロ軌道間の分散を最小限にすることを目的として、完全に教師なしの方法で運営されている。 実験の結果、UDA は Judge の標準偏差を 63.4% まで減少させ、人間の判断との平均的相関を 24.7% 向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-13T11:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。