論文の概要: Accounting for Bias Enables Sustainable LLM Evaluation

• arxiv url: http://arxiv.org/abs/2609.31184v1
• Date: Fri, 25 Sep 2026 12:16:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.376083
• Title: Accounting for Bias Enables Sustainable LLM Evaluation
• Title（参考訳）: バイオマスの会計は持続可能なLCM評価を可能にする
• Abstract要約: LLM-as-a-judgeは、スケーラブルで主観的な評価のためのデファクトスタンダードとなっている。 我々は,共同でペアワイズと順序データをモデル化し,共同設立者に対して明示的に修正する,統一潜在変数フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.47248250311484113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-a-judge has become the de facto standard for scalable, subjective evaluation, yet current leaderboards compensate for systematic measurement bias by running ever more comparisons, an approach that is both statistically unsound and computationally wasteful. The root cause is an incomplete measurement model, treating LLM judges as neutral, interchangeable instruments ignores documented biases like position bias, verbosity bias, judge severity, and self-enhancement, that no volume of additional data can eliminate. We propose a unified latent variable framework that jointly models pairwise and ordinal data while explicitly correcting for these confounders, recovering reliable rankings from substantially fewer comparisons. Because fitting this model costs negligible compute relative to a single round of LLM inference, bias correction is not only more statistically rigorous but also a more sustainable approach to trustworthy evaluation.
• Abstract（参考訳）: LLM-as-a-judgeは、スケーラブルで主観的な評価のデファクトスタンダードとなっているが、現在のリーダーボードは、より多くの比較を実行することで、体系的な測定バイアスを補う。 根本原因は不完全な測定モデルであり、LLMの裁判官を中立的、交換可能な機器として扱うことは、位置バイアス、冗長性バイアス、判断の重大さ、自己啓発といった文書化されたバイアスを無視し、追加のデータを排除できない。 ペアワイズとオーディショナルデータを共同でモデル化し,これらの共同創設者を明示的に補正し,信頼性の高いランキングをほぼ少ない比較から復元する,統一潜在変数フレームワークを提案する。 このモデルに合わせると、1ラウンドのLLM推論に対して無視可能な計算コストがかかるため、バイアス補正は統計的に厳密なだけでなく、信頼できる評価に対する持続可能なアプローチでもある。

関連論文リスト

• Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration [0.5294698352039444]
  より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。 モデルのタスク精度は、その判断精度を強く予測することを示す。 より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
  論文  参考訳（メタデータ） (2026-09-10T00:25:39Z)
• Bias and Uncertainty in LLM-as-a-Judge Estimation [0.0]
  LLM-as-a-Judge評価は,ベースモデルの性能評価の標準ツールとなっている。 近年の研究では、このバイアスを修正するための推定器が提案されているが、その信頼性は判断品質とモデル比較において、キャリブレーション安定性に大きく依存している。 本研究では,これらの故障モードを解析結果,判定品質のシミュレーション,モデル間キャリブレーション不安定性などを通じて検討する。
  論文  参考訳（メタデータ） (2026-05-07T20:55:21Z)
• Who can we trust? LLM-as-a-jury for Comparative Assessment [42.32900791516691]
  大規模言語モデル(LLM)は、自然言語生成評価のための自動評価器として、ますます採用されている。 LLMの判断はタスクや側面によって大きく異なるが、その判断確率は偏りがあり矛盾する可能性がある。 我々は,各審査員がアイテムランキングを共同で推定し,ペア比較だけで信頼性を判断する識別パラメータを導入する,Bradley-Terryモデルの拡張であるBT-sigmaを提案する。
  論文  参考訳（メタデータ） (2026-02-18T17:04:02Z)
• Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
  大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。 ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。 我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
  論文  参考訳（メタデータ） (2026-01-29T21:26:50Z)
• A Judge-Aware Ranking Framework for Evaluating Large Language Models without Ground Truth [4.9467757325435775]
  大規模言語モデル(LLM)をオープンなタスクで評価することは、LLM-as-a-judgeパラダイムを通じてますます行われています。 すべての裁判官を平等に扱うことは、偏見のあるリーダーボードを生み出し、不確実性の推定を誤解させる可能性がある。 そこで本研究では,Bradley-Terry-Luceモデルを拡張し,判定固有の識別パラメータを導入することにより,判定対応のランキングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T15:01:28Z)
• A Causal Information-Flow Framework for Unbiased Learning-to-Rank [52.54102347581931]
  Web検索とレコメンデーションシステムでは、ユーザクリックがランキングモデルのトレーニングに広く使用されている。 本稿では,Unbiased Learning-to-Rankを拡張する因果学習に基づく新たなランキングフレームワークを提案する。 本手法は測定されたバイアスリークを一貫して低減し,ランキング性能を向上させる。
  論文  参考訳（メタデータ） (2026-01-09T07:19:35Z)
• Is Your Model Fairly Certain? Uncertainty-Aware Fairness Evaluation for LLMs [7.197702136906138]
  モデルフェアネスのきめ細かい評価を可能にするため,不確実性を考慮した評価基準であるUCerFを提案する。 現在のデータセットにおけるデータサイズ、多様性、明快さの問題を観察し、新しいジェンダー占有公正度評価データセットを導入する。 我々は、メトリックとデータセットを使用してベンチマークを確立し、それを10のオープンソースAIシステムの動作評価に適用する。
  論文  参考訳（メタデータ） (2025-05-29T20:45:18Z)
• Assessing Judging Bias in Large Reasoning Models: An Empirical Study [99.86300466350013]
  DeepSeek-R1やOpenAI-o1のような大きな推論モデル(LRM)は、顕著な推論能力を示している。 本稿では、主観的嗜好アライメントデータセットと客観的事実ベースデータセットの両方において、LLMとLRMの偏りを判定するベンチマークを示す。
  論文  参考訳（メタデータ） (2025-04-14T07:14:27Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。