論文の概要: A Perfectly Truthful Calibration Measure

• arxiv url: http://arxiv.org/abs/2508.13100v1
• Date: Mon, 18 Aug 2025 17:09:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.502152
• Title: A Perfectly Truthful Calibration Measure
• Title（参考訳）: 完全真正校正尺度
• Authors: Jason Hartline, Lunjia Hu, Yifan Wu,
• Abstract要約: バッチ設定における完全真正なキャリブレーション尺度を設計する:平均2ビンキャリブレーション誤差(ATB) ATBは、スムーズな校正誤差(smCal)と(より低い)キャリブレーション距離(distCal)の2つの既存の校正措置に、音、完全、連続、および二次的に関係している。
• 参考スコア（独自算出の注目度）: 14.052397440160568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Calibration requires that predictions are conditionally unbiased and, therefore, reliably interpretable as probabilities. Calibration measures quantify how far a predictor is from perfect calibration. As introduced by Haghtalab et al. (2024), a calibration measure is truthful if it is minimized in expectation when a predictor outputs the ground-truth probabilities. Although predicting the true probabilities guarantees perfect calibration, in reality, when calibration is evaluated on a finite sample, predicting the truth is not guaranteed to minimize any known calibration measure. All known calibration measures incentivize predictors to lie in order to appear more calibrated on a finite sample. Such lack of truthfulness motivated Haghtalab et al. (2024) and Qiao and Zhao (2025) to construct approximately truthful calibration measures in the sequential prediction setting, but no perfectly truthful calibration measure was known to exist even in the more basic batch setting. We design a perfectly truthful calibration measure in the batch setting: averaged two-bin calibration error (ATB). In addition to being truthful, ATB is sound, complete, continuous, and quadratically related to two existing calibration measures: the smooth calibration error (smCal) and the (lower) distance to calibration (distCal). The simplicity in our definition of ATB makes it efficient and straightforward to compute. ATB allows faster estimation algorithms with significantly easier implementations than smCal and distCal, achieving improved running time and simplicity for the calibration testing problem studied by Hu et al. (2024). We also introduce a general recipe for constructing truthful measures, which proves the truthfulness of ATB as a special case and allows us to construct other truthful calibration measures such as quantile-binned l_2-ECE.
• Abstract（参考訳）: 校正では、予測は条件的に偏りがなく、従って確率として確実に解釈される必要がある。 キャリブレーション測度は、予測器が完璧なキャリブレーションからの距離を定量化する。 Haghtalab et al (2024) によって導入されたように、キャリブレーション測度は、予測器が接地確率を出力するときの期待値が最小になるときに真である。 真の確率を予測することは完全なキャリブレーションを保証するが、実際には、有限標本上でキャリブレーションを評価するとき、真のキャリブレーションは既知のキャリブレーション測度を最小にすることが保証されない。 既知の校正手段はすべて、有限標本上でより校正されたように見えるように、予測者が横になるようにインセンティブを与える。 このような真さの欠如により、Hagtalab et al (2024) と Qiao and Zhao (2025) は、逐次予測設定において、ほぼ真正な校正測度を構築することができたが、より基本的なバッチ設定においても完全に真正な校正測度は存在しなかった。 バッチ設定では, 平均2ビンキャリブレーション誤差 (ATB) という, 完全真正なキャリブレーション尺度を設計する。 真実性に加えて、ABBは滑らかなキャリブレーション誤差(smCal)と(より低い)キャリブレーション距離(distCal)の2つの既存のキャリブレーション対策と、健全で完全で連続的で二次的な関係がある。 ATBの定義の単純さによって、計算が効率的で簡単になります。 ATBは、smCalやdistCalよりもはるかに簡単な実装で高速な推定アルゴリズムを実現し、Hu et al (2024) によるキャリブレーションテスト問題に対する実行時間の改善と簡易性を実現している。 また, ATB の真偽を特別な場合として証明し, 量子結合 l_2-ECE などの真偽校正尺度を構築できる, 真偽測度構築のための一般的なレシピについても紹介する。

関連論文リスト

• Truthfulness of Calibration Measures [18.21682539787221]
  キャリブレーションの指標は、予測者が次の結果の条件付き期待を予測することによって期待されるペナルティを最小化した場合に真実とされる。 これにより、音の良さや完全さといった典型的な要件とともに、校正措置に欠かせないデシプラタムとなる。 本稿では, 正当性予測を一定乗算係数まで最適とする, Subsampled Smooth Error (SSCE) と呼ばれる新たなキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T02:07:55Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• A Unifying Theory of Distance from Calibration [9.959025631339982]
  完璧なキャリブレーションからの距離を定量化する方法については合意がない。 本研究では, キャリブレーションからの距離に関する基礎的な概念を提案する。 フレームワークの適用により、一貫性があり、効率的に推定できる3つのキャリブレーションを識別する。
  論文  参考訳（メタデータ） (2022-11-30T10:38:24Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。