論文の概要: Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus

• arxiv url: http://arxiv.org/abs/2609.22512v1
• Date: Fri, 18 Sep 2026 19:20:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.876783
• Title: Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus
• Title（参考訳）: 合意超過の証拠:LLM判事合意の誤り依存性
• Abstract要約: オープンウェイトとフロンティアLLMの双方の判定において,かなりの誤差相関が認められた。 比較の最大28%では、共有エラーを無視することは、1つのシステムの方がはるかに優れているという結論につながる。 評価精度を推定し,共有誤りを同定するために,信頼された少数の例を用いるという,単純なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 43.232837964609416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Consensus among LLM judges is often taken as strong evidence that a decision is correct. This assumes that judges make their errors independently. In practice, LLM judges are often trained and evaluated in similar ways, so they can make the same mistakes. We study how this dependency affects the reliability of consensus. We find substantial error correlation across both open-weight and frontier LLM judges. In our main bank of ten judges, the average pairwise correlation between judge errors is 0.21. As a result, the ten judges only provide roughly as much statistical information as 3.5 independent judges. The dependency is even stronger among the high-accuracy frontier judges we evaluate, including judges from different providers. In up to 28% of our comparisons, ignoring shared errors leads to the conclusion that one system is significantly better, while accounting for them does not. We also find that the pattern of errors matters. Errors shared by most judges and errors concentrated among a smaller group affect consensus differently and favor different voting methods. Measuring the overall amount of correlation alone is therefore insufficient. Our results suggest a simple approach: use a small set of trusted examples to estimate judge accuracy and identify shared mistakes. These shared errors should then be considered when analyzing the results, and the voting method should be chosen using trusted examples before it is applied to new data.
• Abstract（参考訳）: LLM判事間の合意は、決定が正しいという強い証拠として扱われることが多い。 これは、裁判官が独立してエラーを犯すことを前提としている。 実際には、LLMの審査員は、しばしば同様の方法で訓練され、評価されるので、同じ間違いを犯すことができる。 この依存関係がコンセンサスの信頼性に与える影響について検討する。 オープンウェイトとフロンティアLLMの双方の判定において,かなりの誤差相関が認められた。 10人の審査員のメインバンクでは、判定誤差の平均対相関は0.21である。 その結果、10人の裁判官は3.5人の独立した裁判官と同じくらいの統計情報しか提供していない。 依存関係は、評価する高度なフロンティア審査員の間でさらに強くなり、さまざまなプロバイダの審査員もいます。 比較の最大28%では、共有エラーを無視することは、1つのシステムの方がはるかに優れているという結論につながる。 エラーのパターンも重要です。 多くの裁判官が共有した誤りや小さな集団に集結した誤りは、意見の一致に異なる影響を与え、異なる投票方法を好む。 したがって、相関の全体量のみを測定することは不十分である。 評価精度を推定し,共有誤りを同定するために,信頼された少数の例を用いるという,単純なアプローチを提案する。 これらの共有エラーは、結果を分析する際に考慮し、新しいデータに適用する前に、信頼できる例を使って投票方法を選択する必要がある。

関連論文リスト

• Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration [0.5294698352039444]
  より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。 モデルのタスク精度は、その判断精度を強く予測することを示す。 より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
  論文  参考訳（メタデータ） (2026-09-10T00:25:39Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges [6.609843448260634]
  LLM-as-a-judgeパラダイムは,大規模言語モデルを評価するアプローチとして急速に普及している。 本稿では,人間間の合意が高いクリーンなシナリオに焦点を当てる。 我々は、複雑性や長さを早めるための感度や、寛大さへの傾向など、審査モデルの脆弱性を識別する。
  論文  参考訳（メタデータ） (2024-06-18T13:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。