論文の概要: When Accuracy Gaps Fail to Certify: Auditing Cross-Domain Recalibration of LLM Judges

• arxiv url: http://arxiv.org/abs/2609.27954v1
• Date: Sun, 23 Aug 2026 06:51:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.019228
• Title: When Accuracy Gaps Fail to Certify: Auditing Cross-Domain Recalibration of LLM Judges
• Title（参考訳）: LLM審査員のクロス・ドメイン・リカレーションの検証
• Abstract要約: 我々は、ソース・ターゲットの精度ギャップが予測できることと、13の裁判官、2のジェネレータ、8のドメイン、1,176の事前宣言された転送を認証できることをテストする。 有限サンプルの同時低い証明書は、集団を一方の拒絶規則に変換する。
• 参考スコア（独自算出の注目度）: 1.0742675209112622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A scalar recalibration map fitted for an LLM judge on one task can fail when the task distribution changes, but the source-target accuracy gap is often treated as a proxy for that failure. We test what this gap can predict and what it can certify across thirteen judges, two generators, eight domains, and 1,176 predeclared transfers. After accounting for mean score shift, the gap yields a population lower bound on target calibration error, yet identical gaps can induce opposite transfer outcomes. Exact importance weighting recovers target proper loss under covariate shift, so failure of an estimated weighting pipeline does not by itself establish conditional shift. A finite-sample simultaneous lower certificate converts the population bound into a one-sided rejection rule using audit labels disjoint from evaluation outcomes. The leak-free gap correlation is 0.25 (95% CI [-0.09, 0.55]), falls to 0.09 on the second generator, and does not support a generator-invariant association. The certificate retains nominal coverage but has power 0.13 even at m=1024, whereas target-domain temperature scaling with 16 labels reaches harm rate 0.09, compared with 0.34 for source-fitted Platt scaling. Accuracy gaps are therefore weak warning signals for scalar probability transfer, not deployment certificates.
• Abstract（参考訳）: 1つのタスクにLLM判定器に装着したスカラー補正マップは、タスク分布が変化するとフェールすることがあるが、その失敗のプロキシとして、ソース目標精度ギャップが扱われることが多い。 このギャップは、13の裁判官、2のジェネレータ、8のドメイン、1,176の事前宣言された転送にまたがる。 平均スコアシフトを考慮に入れば、ギャップは目標キャリブレーション誤差に拘束される人口を減少させるが、同一のギャップは反対の転送結果を引き起こす。 特別な重み付けは、共変量シフトの下で目標の適切な損失を回復するので、推定重み付けパイプラインの故障は、それ自体が条件シフトを確立しない。 有限サンプル同時低証明書は、評価結果とは相容れない監査ラベルを用いて、集団を一方的な拒絶規則に変換する。 漏れのないギャップ相関は 0.25 (95% CI [-0.09, 0.55]) であり、第2発生器では 0.09 に低下し、発電機と不変な結合をサポートしない。 この証明書は名目上はカバーできるが、出力0.13はm=1024でも保たれ、一方16ラベルのターゲットドメインの温度スケーリングは、ソース適合のPlattスケーリングでは0.34と、ハーネスレート0.09に達する。 したがって、正確なギャップは、デプロイ証明書ではなく、スカラー確率転送のための弱い警告信号である。

関連論文リスト

• Testing-Driven Reliability Audit of Trajectory-Based Early Outcome Prediction for LLM Agents: Target-Specific Calibration Transfer Persists Within a Single Benchmark [0.0]
  軌道に基づく早期結果の予測は、結果が十分に予測可能になったときにランを終了させることにより、エージェント評価に関連する費用を削減できる。 このような転送障害がエージェントシステムにまたがっているのか、あるいは特定のターゲットエージェント/ヘッドの組み合わせに集中しているのかは不明だ。 パブリックなSWE-bench Verified trajectoriesと凍結したデュアルヘッド早期アウト予測パイプラインを使用して、我々は、Left-one-agent-out calibration auditを実行した。
  論文  参考訳（メタデータ） (2026-09-22T03:57:30Z)
• Unmatched Does Not Mean False: Incomplete Reference Sets Can Reverse Calibration Rankings in Open-Ended Theory-of-Mind Tracking [0.5735035463793009]
  Open-ended Theory-of-Mind (ToM) トラッカーは有限参照を欠く有効な信念を出力する。 有限参照+マーチャントパイプラインは、不正な出力をマークし、適切なスコアモデル選択をリバース可能なプロキシラベルを生成する。
  論文  参考訳（メタデータ） (2026-08-26T11:36:31Z)
• Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
  ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。 粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。 ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
  論文  参考訳（メタデータ） (2026-08-04T23:48:36Z)
• Anytime-Valid Confirmation of Label-Shift Corrections [0.6599344783327052]
  小規模の科学的展開では、ラベル付けされた目標結果が、信頼できるシフト推定には不足している可能性がある。 本研究では,ラベルシフト補正予測とソース予測との観測確率比が条件付きe値であることを示す。
  論文  参考訳（メタデータ） (2026-06-12T02:03:21Z)
• Coverage Guarantees for Pseudo-Calibrated Conformal Prediction under Distribution Shift [1.5861469511290378]
  コンフォーマル予測は、データ分散がシフトした場合の限界カバレッジを保証する。 この性能損失に対処するためのツールとして擬似校正を用いた場合の分析を行う。 ハードな擬似ラベルとランダムなラベルを補間するソース調整擬似校正アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-16T16:48:39Z)
• Conditional Coverage Diagnostics for Conformal Prediction [47.93989136542648]
  条件付きカバレッジ推定が分類問題であることを示す。 得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。 ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
  論文  参考訳（メタデータ） (2025-12-12T18:47:39Z)
• Adapting to Latent Subgroup Shifts via Concepts and Proxies [82.01141290360562]
  最適ターゲット予測器は、ソースドメインでのみ利用できる概念とプロキシ変数の助けを借りて、非パラメトリックに識別可能であることを示す。 本研究では,データ生成プロセスに特有の潜在変数モデルを提案する。
  論文  参考訳（メタデータ） (2022-12-21T18:30:22Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。