論文の概要: Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration

• arxiv url: http://arxiv.org/abs/2609.12002v1
• Date: Thu, 10 Sep 2026 00:25:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.486904
• Title: Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration
• Title（参考訳）: LLM判事を信頼できるか: バイアス校正のための能力依存バイアスとマルチジャッジアンサンブルの研究
• Abstract要約: より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。 モデルのタスク精度は、その判断精度を強く予測することを示す。 より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
• 参考スコア（独自算出の注目度）: 0.5294698352039444
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: LLMs are increasingly used as automated judges for model training and evaluation, yet individual judges exhibit systematic biases that undermine reliability. Much of prior work has studied biases in pairwise LLM-as-a-judge settings; in this paper, we focus on absolute scoring tasks, which mirror more realistic use cases. Across four benchmarks and six models (36 judge-examinee pairs), we show that a model's task accuracy strongly predicts its judging accuracy (Pearson $r \geq 0.90$ on most models) and inversely predicts its directional bias ($r \leq -0.83$), but that accuracy alone does not ensure fair evaluation: more capable examinee models consistently receive more lenient judgments from all judges ($r \geq 0.83$). To address this, we propose calibrated weighted majority voting (WMV), an ensemble evaluation method that aggregates multiple LLM judges weighted by online estimates of their false-positive and false-negative rates. We introduce a disagreement-based estimator that derives these error rates purely from inter-judge agreement patterns, requiring no ground-truth labels or task metadata. In a simulated experiment with shifting task distributions, our label-free WMV tracks an oracle with perfect error-rate knowledge to within 0.5 percentage points on average, outperforming both individual judges and unweighted majority voting. These results demonstrate that principled multi-judge calibration can simultaneously improve accuracy and correct for systematic leniency without requiring labeled data, offering a scalable path to reliable automated evaluation as model capabilities increase.
• Abstract（参考訳）: LLMはモデルトレーニングと評価のための自動判断器としてますます使用されるが、個々の判断器は信頼性を損なう体系的なバイアスを示す。 従来の研究の多くは、ペアワイズ LLM-as-a-judge 設定におけるバイアスを研究しており、本論文では、より現実的なユースケースを反映した絶対的なスコアリングタスクに焦点を当てている。 4つのベンチマークと6つのモデル(審査員対36)で、モデルのタスク精度は、その判断精度を強く予測し(ほとんどのモデルでは、Pearson $r \geq 0.90$)、その方向バイアス(r \leq -0.83$)を逆予測するが、その精度だけでは公平な評価は得られない。 そこで本研究では,複数のLCM審査員をオンラインの偽陽性率と偽陰性率の重み付けにより集約するアンサンブル評価手法であるWMV(Calribrated weighted majority voting)を提案する。 我々は,これらの誤り率を,基本トラストラベルやタスクメタデータを必要とせず,ジャッジ間合意パターンから純粋に導出する不一致に基づく推定器を導入する。 タスク分布のシフトを模擬した実験では,ラベルフリーのWMVは,完全誤り率の知識を持つオラクルを平均0.5ポイント以内まで追跡し,個々の審査員と非重み付き多数決のどちらよりも優れていた。 これらの結果から, モデル能力の向上に伴い, 信頼性の高い自動評価にスケーラブルな経路を提供することにより, ラベル付きデータを必要とすることなく, 精度の向上と系統的冗長性の補正を同時に行うことが可能であることが示唆された。

関連論文リスト

• Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
  ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。 本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
  論文  参考訳（メタデータ） (2026-05-10T18:49:58Z)
• Bias and Uncertainty in LLM-as-a-Judge Estimation [0.0]
  LLM-as-a-Judge評価は,ベースモデルの性能評価の標準ツールとなっている。 近年の研究では、このバイアスを修正するための推定器が提案されているが、その信頼性は判断品質とモデル比較において、キャリブレーション安定性に大きく依存している。 本研究では,これらの故障モードを解析結果,判定品質のシミュレーション,モデル間キャリブレーション不安定性などを通じて検討する。
  論文  参考訳（メタデータ） (2026-05-07T20:55:21Z)
• CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation [6.3121191919394475]
  この研究は、ベンチマークスコアの分散をシナリオ、生成、判断、残留コンポーネントに分割する分散分解を導入する。 この分析に基づいて, 審査員のシナリオへのラウンドロビンの割り当てであるCyclicJudgeが, 一定の審査-呼出予算の最適戦略であることを実証した。
  論文  参考訳（メタデータ） (2026-03-02T13:46:32Z)
• Who can we trust? LLM-as-a-jury for Comparative Assessment [42.32900791516691]
  大規模言語モデル(LLM)は、自然言語生成評価のための自動評価器として、ますます採用されている。 LLMの判断はタスクや側面によって大きく異なるが、その判断確率は偏りがあり矛盾する可能性がある。 我々は,各審査員がアイテムランキングを共同で推定し,ペア比較だけで信頼性を判断する識別パラメータを導入する,Bradley-Terryモデルの拡張であるBT-sigmaを提案する。
  論文  参考訳（メタデータ） (2026-02-18T17:04:02Z)
• A Judge-Aware Ranking Framework for Evaluating Large Language Models without Ground Truth [4.9467757325435775]
  大規模言語モデル(LLM)をオープンなタスクで評価することは、LLM-as-a-judgeパラダイムを通じてますます行われています。 すべての裁判官を平等に扱うことは、偏見のあるリーダーボードを生み出し、不確実性の推定を誤解させる可能性がある。 そこで本研究では,Bradley-Terry-Luceモデルを拡張し,判定固有の識別パラメータを導入することにより,判定対応のランキングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T15:01:28Z)
• Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
  信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。 異なるデータ条件に合わせた2つの学習方法を提案する。 この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
  論文  参考訳（メタデータ） (2025-09-30T20:36:41Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• Self-rationalization improves LLM as a fine-grained judge [21.917301609125417]
  本稿では,判断モデルの合理性を改善する反復的プロセスである自己帰納化を導入する。 自己合理化は、モデルが同じ入力に対して合理性を持つ複数の判断を生成させることで機能する。 我々のモデルは、SFTで訓練されたモデルと比較して平均62%の利益率で、より高い品質の合理性を生み出すことを学習している。
  論文  参考訳（メタデータ） (2024-10-07T21:05:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。