論文の概要: CARE: Confounder-Aware Aggregation for Reliable LLM Evaluation

• arxiv url: http://arxiv.org/abs/2603.00039v1
• Date: Mon, 09 Feb 2026 03:17:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:07.98244
• Title: CARE: Confounder-Aware Aggregation for Reliable LLM Evaluation
• Title（参考訳）: CARE: 信頼性の高いLCM評価のための共同設立者対応アグリゲーション
• Authors: Jitian Zhao, Changho Shin, Tzu-Heng Huang, Satya Sai Srinath Namburi GNVV, Frederic Sala,
• Abstract要約: CAREは、判定スコアのための共同設立者対応アグリゲーションフレームワークである。 共有共同設立者の下で、識別可能性と有限サンプル回復に関する理論的保証を提供する。 CAREはアグリゲーションの精度を改善し、エラーを最大26.8%削減する。
• 参考スコア（独自算出の注目度）: 21.96013518286442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-a-judge ensembles are the standard paradigm for scalable evaluation, but their aggregation mechanisms suffer from a fundamental flaw: they implicitly assume that judges provide independent estimates of true quality. However, in practice, LLM judges exhibit correlated errors caused by shared latent confounders -- such as verbosity, stylistic preferences, or training artifacts -- causing standard aggregation rules like majority vote or averaging to provide little gain or even amplify systematic mistakes. To address this, we introduce CARE, a confounder-aware aggregation framework that explicitly models LLM judge scores as arising from both a latent true-quality signal and shared confounding factors. Rather than heuristically re-weighting judges, CARE separates quality from confounders without access to ground-truth labels. We provide theoretical guarantees for identifiability and finite-sample recovery under shared confounders, and we quantify the systematic bias incurred when aggregation models omit confounding latent factors. Across 12 public benchmarks spanning continuous scoring, binary classification, and pairwise preference settings, CARE improves aggregation accuracy, reducing error by up to 26.8\%. Code is released in \href{https://github.com/SprocketLab/CARE}{https://github.com/SprocketLab/CARE}.
• Abstract（参考訳）: LLM-as-a-judgeアンサンブルはスケーラブルな評価の標準パラダイムであるが、それらの集約メカニズムには根本的な欠陥がある。 しかし、実際には、LLM判事は、冗長性、スタイル的嗜好、トレーニングアーティファクトといった、共犯者同士の共有による相関したエラーを示す。 そこで我々は,LCMの判定スコアを,潜伏した真品質信号と共起要因の両方から生じるものとして明示的にモデル化する,共同ファウンダー対応の集約フレームワークであるCAREを紹介した。 審査員をヒューリスティックに再重み付けする代わりに、CAREは、地道なラベルにアクセスせずに、共同ファウンダーから品質を分離する。 我々は,共有共同設立者の下での識別可能性と有限サンプル回復に関する理論的保証を提供し,集約モデルが潜伏要因を省略した場合に生じる系統的バイアスを定量化する。 連続スコア、バイナリ分類、ペアワイズ設定にまたがる12の公開ベンチマークにおいて、CAREはアグリゲーションの精度を改善し、エラーを最大26.8\%削減する。 コードは \href{https://github.com/SprocketLab/CARE}{https://github.com/SprocketLab/CARE} で公開されている。

関連論文リスト

• Who can we trust? LLM-as-a-jury for Comparative Assessment [42.32900791516691]
  大規模言語モデル(LLM)は、自然言語生成評価のための自動評価器として、ますます採用されている。 LLMの判断はタスクや側面によって大きく異なるが、その判断確率は偏りがあり矛盾する可能性がある。 我々は,各審査員がアイテムランキングを共同で推定し,ペア比較だけで信頼性を判断する識別パラメータを導入する,Bradley-Terryモデルの拡張であるBT-sigmaを提案する。
  論文  参考訳（メタデータ） (2026-02-18T17:04:02Z)
• Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
  大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。 ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。 我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
  論文  参考訳（メタデータ） (2026-01-29T21:26:50Z)
• A Judge-Aware Ranking Framework for Evaluating Large Language Models without Ground Truth [4.9467757325435775]
  大規模言語モデル(LLM)をオープンなタスクで評価することは、LLM-as-a-judgeパラダイムを通じてますます行われています。 すべての裁判官を平等に扱うことは、偏見のあるリーダーボードを生み出し、不確実性の推定を誤解させる可能性がある。 そこで本研究では,Bradley-Terry-Luceモデルを拡張し,判定固有の識別パラメータを導入することにより,判定対応のランキングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T15:01:28Z)
• Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning [53.9713678229744]
  MIPL(Multi-instance partial-label Learning)は、インスタンス空間とラベル空間の両方において、不正確な監督の課題に対処する弱い教師付きフレームワークである。 既存のMIPLアプローチは、しばしばキャリブレーションが悪く、信頼性を損なう。 分類精度と校正性能を同時に向上するプラグアンドプレイ校正型曖昧さ損失(CDL)を提案する。
  論文  参考訳（メタデータ） (2025-12-19T16:58:31Z)
• Distribution-Calibrated Inference time compute for Thinking LLM-as-a-Judge [5.855996386998925]
  大きな言語モデル(LLM)をペアの選好の判断に使用すると、単一サンプルレベルではノイズが残る。 本研究では,各項目ごとにn個の独立した思考型サンプルを生成する評価器の推論時間計算(ITC)について検討する。
  論文  参考訳（メタデータ） (2025-12-02T18:46:47Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• When Judgment Becomes Noise: How Design Failures in LLM Judge Benchmarks Silently Undermine Validity [21.192000569821943]
  我々は、厳密な目標と検証可能な構成がなければ、ベンチマークのランキングは、ほぼノイズの多い高信頼度ランキングを生成することができると論じる。 本稿では,Arena-Hard Autoが使用するELOスタイルのアグリゲーションが崩壊し,真のランキングの不確かさをマスクすることを示す。 我々の結果は、妥当性を損なう設計上の失敗を強調し、より良いスコープで信頼性に配慮したベンチマークを構築するための実用的な原則を提供する。
  論文  参考訳（メタデータ） (2025-09-24T16:26:47Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。