論文の概要: Testable and Actionable Calibration for Full Swap Regret

• arxiv url: http://arxiv.org/abs/2605.17749v1
• Date: Mon, 18 May 2026 02:04:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.58934
• Title: Testable and Actionable Calibration for Full Swap Regret
• Title（参考訳）: フルスワップレグレットのためのテスト可能・動作可能な校正法
• Authors: Konstantina Bairaktari, Lunjia Hu, Huy L. Nguyen, Jonathan Ullman,
• Abstract要約: いずれの要件も弱めずに完全に動作可能であることを証明した,新たな校正基準であるSCDL(Soft-Binned Decision Loss)を導入する。 SCDLは連続性や一貫性といった他の望ましい特性を満たす。
• 参考スコア（独自算出の注目度）: 14.699455652461724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI generated predictions increasingly inform decision making in critical tasks, and therefore must be trustworthy. One widely used measure of trustworthiness is calibration, which requires that the predictions match the true frequencies and can be treated like real probabilities of a given outcome. However, defining calibration is subtle, and designing good measures of calibration error has been an active topic of recent research. The first goal is to find calibration measures that are actionable, meaning they can inform decision makers about their utility loss when predictions are treated as true probabilities, which is known as swap regret. The second goal is to find calibration measures that are testable, meaning that calibration error can be measured from a small sample of predictions and outcomes. Although these are very basic requirements, there is no existing calibration measure that fully satisfies both properties, and all existing measures relax actionability by bounding a weaker notion of swap regret, or relax testability by having suboptimal estimation error. We introduce a new calibration measure, Soft-Binned Calibration Decision Loss (SCDL), which we prove is fully actionable without weakening either requirement, and testable with nearly optimal error rate. In addition, SCDL satisfies other desired properties such as continuity and consistency. We also provide a set of experiments confirming that the theoretical advantages of SCDL compared to other measures lead to better performance in practice.
• Abstract（参考訳）: AIが生成した予測は、重要なタスクにおける意思決定をますます通知する。 信頼度に関する最も広く用いられる尺度はキャリブレーションであり、これは予測が真の周波数と一致し、与えられた結果の実際の確率として扱われることを必要とする。 しかし、キャリブレーションの定義は微妙であり、キャリブレーション誤差の優れた尺度を設計することが最近の研究の活発な話題となっている。 第一の目標は、行動可能な校正策を見つけることであり、つまり、予測が真の確率として扱われるときに、その実用上の損失を意思決定者に知らせることであり、これはスワップ後悔として知られている。 第2の目標は、検証可能なキャリブレーション尺度を見つけることであり、つまり、キャリブレーション誤差は予測と結果の小さなサンプルから測定できる。 これらは非常に基本的な要件であるが、両方の性質を完全に満足する既存の校正尺度はなく、既存のすべての尺度は、スワップ後悔というより弱い概念を束縛したり、最適な推定誤差を持つことによってテスト容易性を緩和する。 両要求を弱めることなく完全に動作可能であることを証明し,ほぼ最適誤差率で検証可能な,新たな校正基準であるSCDL(Soft-Binned Calibration Decision Loss)を導入する。 加えて、SCDLは連続性や一貫性といった他の望ましい性質を満たす。 また,SCDLの理論的優位性は,他の測定方法と比較して,実際の性能向上につながることを確認した実験のセットも提供する。

関連論文リスト

• Making and Evaluating Calibrated Forecasts [10.153382419318023]
  マルチクラス予測タスクに対して,完全真正なキャリブレーション尺度を導入する。 我々は,キャリブレーション法が優れたロバスト性を示すことを数学的に証明し,実証的に検証する。 この結果は、binned ECEの非ロバスト性問題に対処する。
  論文  参考訳（メタデータ） (2025-10-07T19:11:03Z)
• A Perfectly Truthful Calibration Measure [9.916245963243542]
  キャリブレーション測度は、予測器が完璧なキャリブレーションからの距離を定量化する。 バッチ設定で、単純で、完全で、誠実で、健全で完全な校正尺度を設計する。
  論文  参考訳（メタデータ） (2025-08-18T17:09:34Z)
• Truthfulness of Calibration Measures [18.21682539787221]
  キャリブレーションの指標は、予測者が次の結果の条件付き期待を予測することによって期待されるペナルティを最小化した場合に真実とされる。 これにより、音の良さや完全さといった典型的な要件とともに、校正措置に欠かせないデシプラタムとなる。 本稿では, 正当性予測を一定乗算係数まで最適とする, Subsampled Smooth Error (SSCE) と呼ばれる新たなキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T02:07:55Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。 以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。