論文の概要: Causal Judge Evaluation: Calibrated Surrogate Metrics for LLM Systems

• arxiv url: http://arxiv.org/abs/2512.11150v1
• Date: Thu, 11 Dec 2025 22:16:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.590541
• Title: Causal Judge Evaluation: Calibrated Surrogate Metrics for LLM Systems
• Title（参考訳）: 因果判定: LLM システムのキャリブレーション・サロゲート測定値
• Abstract要約: 未校正スコアは選好を逆転させることができ、未校正スコアに対するナイーブな信頼区間は、ほぼ0%のカバレッジを獲得し、重要度重み付け推定器は、限られた重複の下で崩壊する。 3つの障害を全て解決するフレームワークであるCausal Judge Evaluationを紹介します。
• 参考スコア（独自算出の注目度）: 0.29465623430708904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-judge evaluation has become the de facto standard for scaling model assessment, but the practice is statistically unsound: uncalibrated scores can invert preferences, naive confidence intervals on uncalibrated scores achieve near-0% coverage, and importance-weighted estimators collapse under limited overlap despite high effective sample size (ESS). We introduce Causal Judge Evaluation (CJE), a framework that fixes all three failures. On n=4,961 Chatbot Arena prompts (after filtering from 5k), CJE achieves 99% pairwise ranking accuracy at full sample size (94% averaged across configurations), matching oracle quality, at 14x lower cost (for ranking 5 policies) by calibrating a 16x cheaper judge on just 5% oracle labels (~250 labels). CJE combines three components: (i) AutoCal-R, reward calibration via mean-preserving isotonic regression; (ii) SIMCal-W, weight stabilization via stacking of S-monotone candidates; and (iii) Oracle-Uncertainty Aware (OUA) inference that propagates calibration uncertainty into confidence intervals. We formalize the Coverage-Limited Efficiency (CLE) diagnostic, which explains why IPS-style estimators fail even when ESS exceeds 90%: the logger rarely visits regions where target policies concentrate. Key findings: SNIPS inverts rankings even with reward calibration (38% pairwise, negative Kendall's tau) due to weight instability; calibrated IPS remains near-random (47%) despite weight stabilization, consistent with CLE; OUA improves coverage from near-0% to ~86% (Direct) and ~96% (stacked-DR), where naive intervals severely under-cover.
• Abstract（参考訳）: LLM-as-judge評価は、モデル評価をスケールするデファクトスタンダードとなっているが、その実践は統計的に不正確である: 未校正スコアは、選好を逆転させ、未校正スコアに対するナイーブな信頼区間は、高い有効サンプルサイズ(ESS)にもかかわらず、限定的な重み付けで崩壊する。 3つの障害を全て解決するフレームワークであるCausal Judge Evaluation (CJE)を紹介します。 n=4,961 Chatbot Arenaのプロンプト(5kからフィルタリングした後)では、CJEは全サンプルサイズ(構成平均で94%)で99%のペアのランク精度を達成し、オラクルの品質にマッチする。 CJEは3つのコンポーネントを組み合わせています。 i)AutoCal-R,平均保存等調回帰による報酬校正 (二)SIMCal-W、S-モノトン候補の積み重ねによる重量安定化、及び 三 校正の不確実性を信頼区間に伝播させるOracle-Uncertainty Aware (OUA)推論 CLE(Coverage-Limited Efficiency)診断を形式化し、ESSが90%を超える場合でもIPSスタイルの推定器がフェールする理由を説明する。 主な発見:SNIPSは、重量不安定性による報酬のキャリブレーション(38%、負のKendall's tau)でもランクを逆転し、CLEと整合性があるにもかかわらず、キャリブレーションされたIPSは、ほぼランダム(47%)であり、OUAは、約0%から約86%(Direct)、約96%(stacked-DR)までカバー範囲を改善している。

関連論文リスト

• Reliability-Aware Hybrid-K Ensemble Selection for Cervical Cytology Classification: Integrating Discrimination, Calibration, and Selective Prediction [3.093890460224435]
  本研究では,マルチクラス頚椎分類のための信頼性を考慮したハイブリッド-Kアンサンブル選択フレームワークを提案する。 9つのディープラーニングアーキテクチャを,固定成層5倍分割と3つの訓練種子を用いて評価した。 Swin-TinyとTinyViT-5Mからなる最後のハイブリッド2アンサンブルは、AURCを43%減らし、NLLを17%減らし、WC-ECEを36%減らした。
  論文  参考訳（メタデータ） (2026-09-01T02:30:41Z)
• When Can Conformal Risk Control Certify LLM Outputs? Bounds, Impossibility, and Adaptation for Structured Generation [0.11280931253550518]
  構造化世代 (NER, 抽出, QA, 分類) にデプロイされる大規模言語モデル (LLM) には、正式な信頼性保証がない。 我々は、共形リスク制御(CRC)が構造化LLM出力を証明でき、かつ、それが証明不可能な場合に特徴付ける。
  論文  参考訳（メタデータ） (2026-06-27T19:25:07Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• Calibration, Uncertainty Communication, and Deployment Readiness in CKD Risk Prediction: A Framework Evaluation Study [0.0]
  慢性腎臓病の機械学習モデルは、しばしば内部テストセットに強い差別的スコアを与える。 UCI CKDデータセット(400例,62.5%)を用いた5つの分類器の訓練を行った。 キャリブレーション品質,コンフォーマルな予測カバレッジ,8基準の展開準備フレームワークについて検討した。
  論文  参考訳（メタデータ） (2026-05-20T17:12:48Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• Measuring Five-Nines Reliability: Sample-Efficient LLM Evaluation in Saturated Benchmarks [45.86413490112477]
  大規模言語モデル(LLM)は信頼性に敏感なアプリケーションで使用される。 厳密な信頼境界を持つ稀な失敗確率を推定するには、違法に大きなLSM推論サイズが必要である。 そこで本研究では,クロスエントロピー手法を用いて,故障確率入力に集中したサンプリング分布を学習する。
  論文  参考訳（メタデータ） (2026-05-11T20:23:44Z)
• The Verification Tax: Fundamental Limits of AI Auditing in the Rare-Error Regime [0.0]
  最も引用されているキャリブレーションの結果は、CIFAR-100上での温度スケーリング後のECEの0.012は、統計的ノイズフロアより下である。 モデル誤差率のエプシロンによるキャリブレーション誤差を推定するミニマックスレートは Theta((Lepsilon/m)2/3) であり、推定器が打ち負かせない。
  論文  参考訳（メタデータ） (2026-04-14T16:48:24Z)
• Online Reasoning Calibration: Test-Time Training Enables Generalizable Conformal LLM Reasoning [18.69627681731888]
  オンライン推論校正(英語: Online Reasoning calibration、ORCA)は、整合予測とテストタイムトレーニングに基づいてサンプリングプロセスを校正するフレームワークである。 リスクレベルの$=0.1$で、ORCAはQwen2.5-32B効率を改善し、47.5%、監督ラベル40.7%、自己整合ラベル40.7%を節約する。
  論文  参考訳（メタデータ） (2026-04-01T17:21:50Z)
• Confidence Calibration under Ambiguous Ground Truth [43.71398545904091]
  多数発声ラベルに装着したポストホックキャリブレータは、従来の評価ではよく校正される。 しかし、それらが根底にあるアノテータ分布に対してかなり誤解されている。 我々は,完全ラベル分布に対して適切なスコアリングルールを最適化する,あいまいさを意識したポストホックキャリブレータのファミリーを開発する。
  論文  参考訳（メタデータ） (2026-03-24T07:24:09Z)
• Black-Box Reliability Certification for AI Agents via Self-Consistency Sampling and Conformal Calibration [0.0]
  信頼性レベル -- システムとタスクのペアあたりの1つの番号 -- で答えます。 自己整合性サンプリングは指数関数的に不確実性を減少させる。 共形キャリブレーションは、ターゲットレベルの1/(n+1)以内の正確性を保証する。
  論文  参考訳（メタデータ） (2026-02-24T21:03:50Z)
• Correctness-Optimized Residual Activation Lens (CORAL): Transferrable and Calibration-Aware Inference-Time Steering [3.7758197704962835]
  重み付きデカイプローブを用いて、モデル内部のアクティベーションから正当性信号を捕捉する正規化時間ステアリング法であるCORALを導入する。 コラルは、常に精度を10%改善し、期待キャリブレーション誤差(ECE)を平均50%改善する。 本結果は,個々のニューロンが不十分な場合,正規化プローブを用いてモデル内部の分散情報を抽出できるという仮説を支持する。
  論文  参考訳（メタデータ） (2026-02-05T18:55:56Z)
• NAACL: Noise-AwAre Verbal Confidence Calibration for LLMs in RAG Systems [53.52419750390942]
  大型言語モデル(LLM)はミッションクリティカルな事実領域で使用される。 LLMのキャリブレーション性能は, ノイズが回復した状況によって低下する。 我々は、ノイズ下での過信を解決するための原則的基盤を提供するため、NAACLルール(Noise-AwAre Confidence CaLibration Rules)を提案する。
  論文  参考訳（メタデータ） (2026-01-16T05:38:25Z)
• Learning Robust Representations for Malicious Content Detection via Contrastive Sampling and Uncertainty Estimation [0.0]
  不確実性コントラストフレームワーク(UCF)は、不確実性を考慮したコントラスト損失、適応温度スケーリング、自己注意誘導型LSTMエンコーダを統合し、ノイズおよび不均衡条件下での分類を改善する。 UCFはサンプルの信頼度に基づいて対照的な重み付けを動的に調整し、正のアンカーを用いたトレーニングを安定化し、温度パラメータをバッチレベルの可変性に適応させる。
  論文  参考訳（メタデータ） (2025-12-01T22:06:06Z)
• Learnable Conformal Prediction with Context-Aware Nonconformity Functions for Robotic Planning and Perception [4.694504497452662]
  Learnable Conformal Predictionは、固定スコアを軽量なニューラル関数に置き換えて、コンテキスト認識の不確実性セットを生成する。 CPの理論的保証を維持しつつ、予測セットのサイズを18%減らし、検出間隔を52%減らし、経路計画の安全性を72%から91%に改善し、オーバーヘッドを最小限に抑えている。 ハードウェア評価では、LCPは1%未満のメモリと15.9%の推論オーバーヘッドを追加したが、検出タスクでは39 FPSを維持し、アンサンブルの7.4倍のエネルギー効率を保っている。
  論文  参考訳（メタデータ） (2025-09-26T06:44:58Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Uncertainty-aware Long-tailed Weights Model the Utility of Pseudo-labels for Semi-supervised Learning [50.868594148443215]
  本研究では,不確かさを意識したアンサンブル構造(UES)を提案する。 UESは軽量でアーキテクチャに依存しないため、分類や回帰を含む様々なコンピュータビジョンタスクに容易に拡張できる。
  論文  参考訳（メタデータ） (2025-03-13T02:21:04Z)
• Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
  我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。 本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T21:19:59Z)
• BEA: Revisiting anchor-based object detection DNN using Budding Ensemble Architecture [8.736601342033431]
  Budding Ensemble Architecture(BEA)は、アンカーベースのオブジェクト検出モデルのための、新しい縮小アンサンブルアーキテクチャである。 BEAにおける損失関数は、信頼性スコアの校正を改善し、不確かさを低減させる。
  論文  参考訳（メタデータ） (2023-09-14T21:54:23Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。