論文の概要: Bias and Uncertainty in LLM-as-a-Judge Estimation

• arxiv url: http://arxiv.org/abs/2605.06939v1
• Date: Thu, 07 May 2026 20:55:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.621085
• Title: Bias and Uncertainty in LLM-as-a-Judge Estimation
• Title（参考訳）: LLM-as-a-Judge推定におけるバイアスと不確かさ
• Authors: James Fiedler,
• Abstract要約: LLM-as-a-Judge評価は,ベースモデルの性能評価の標準ツールとなっている。 近年の研究では、このバイアスを修正するための推定器が提案されているが、その信頼性は判断品質とモデル比較において、キャリブレーション安定性に大きく依存している。 本研究では,これらの故障モードを解析結果,判定品質のシミュレーション,モデル間キャリブレーション不安定性などを通じて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-a-Judge evaluation has become a standard tool for assessing base model performance. However, characterizing performance via the naive estimator, i.e., raw judge outputs, is systematically biased. Recent work has proposed estimators to correct this bias, but their reliability depends critically on judge quality and, for model comparisons, on calibration stability. Sharing calibration across compared models is practically attractive but can introduce severe bias, including cases where the comparison estimate points in the wrong direction with high apparent confidence. We study these failure modes through analytical results, simulations over judge quality ($J$) and cross-model calibration instability ($ΔJ$), and a real-data MMLU-Pro case study with sign reversal. We propose $J$ and $ΔJ$ as diagnostics for when corrected estimates, especially shared-calibration comparisons, are likely unreliable, and provide reporting guidance for LaaJ evaluation.
• Abstract（参考訳）: LLM-as-a-Judge評価は,ベースモデルの性能評価の標準ツールとなっている。 しかし, 主観評価器による性能評価, すなわち生の判定出力は, 体系的に偏りがある。 近年の研究では、このバイアスを修正するための推定器が提案されているが、その信頼性は判断品質とモデル比較において、キャリブレーション安定性に大きく依存している。 比較モデル間でキャリブレーションを共有することは、実際は魅力的であるが、比較推定値が間違った方向に高い信頼度を持つ場合など、深刻なバイアスをもたらす可能性がある。 解析結果、判定品質(J$)とモデル間キャリブレーション不安定(ΔJ$)のシミュレーション、および実データMMLU-Proケーススタディを用いて、これらの障害モードについて検討する。 本稿では,補正された推定値,特に共有校正比較値の信頼性が低い場合の診断として$J$と$ΔJ$を提案し,LaaJ評価のための報告ガイダンスを提供する。

関連論文リスト

• CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
  CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。 この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
  論文  参考訳（メタデータ） (2026-03-09T07:15:23Z)
• Who can we trust? LLM-as-a-jury for Comparative Assessment [42.32900791516691]
  大規模言語モデル(LLM)は、自然言語生成評価のための自動評価器として、ますます採用されている。 LLMの判断はタスクや側面によって大きく異なるが、その判断確率は偏りがあり矛盾する可能性がある。 我々は,各審査員がアイテムランキングを共同で推定し,ペア比較だけで信頼性を判断する識別パラメータを導入する,Bradley-Terryモデルの拡張であるBT-sigmaを提案する。
  論文  参考訳（メタデータ） (2026-02-18T17:04:02Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Calibrating LLM Judges: Linear Probes for Fast and Reliable Uncertainty Estimation [25.80946316489521]
  本稿では,Brierスコアに基づく損失をトレーニングした線形プローブを導入し,審査員の隠蔽状態から不確実性を校正した推定値を提供する。 我々は,目的的タスク(推論,数学,事実性,コーディング)と主観的人間の選好判断の両方に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-12-23T22:08:46Z)
• Balanced Accuracy: The Right Metric for Evaluating LLM Judges - Explained through Youden's J statistic [4.271443100949229]
  大規模言語モデルの厳密な評価は、望ましい行動や望ましくない行動の頻度によるモデルの比較に依存する。 この選択に使用される一般的なメトリクス、例えば、精度、精度、F1は、クラス不均衡や正のクラスの任意の選択に敏感である。 平衡精度は$J$の等価線型変換であり、より良く、より堅牢な分類器選択をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-12-08T23:58:32Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Mitigating the Bias of Large Language Model Evaluation [30.67730115141905]
  LLM-as-a-Judgeのバイアスに関する系統的研究を提案する。 クローズドソース・ジャッジモデルでは、表面品質の重要性を緩和するためにキャリブレーションを適用する。 オープンソース・ジャッジ・モデルでは, 対照的な学習によってバイアスを軽減し, 学習から逸脱するが, 表面品質が向上する負のサンプルをキュレートする。
  論文  参考訳（メタデータ） (2024-09-25T09:52:44Z)
• Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments [2.1370543868467275]
  本稿では,大規模言語モデルと人的評価を協調させる手法について検討する。 我々はこのバイアスを定量化するためにベイズ統計とt検定を用い、GPTScorerを調整するための再校正手順を開発した。 以上の結果から,再校正したLCM評価器と,複数のユースケースにおけるヒト評価との整合性は有意に改善した。
  論文  参考訳（メタデータ） (2024-07-05T09:26:40Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。