論文の概要: Can a calibration metric be both testable and actionable?

• arxiv url: http://arxiv.org/abs/2502.19851v1
• Date: Thu, 27 Feb 2025 07:50:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:56:52.998128
• Title: Can a calibration metric be both testable and actionable?
• Title（参考訳）: 校正基準はテスト可能かつ動作可能か?
• Authors: Raphael Rossellini, Jake A. Soloff, Rina Foygel Barber, Zhimei Ren, Rebecca Willett,
• Abstract要約: 動作可能なキャリブレーション間隔を評価することにより,カットオフエラーはテスト可能かつオーバーであり,このギャップを埋めることを示す。 ここでは,カットオフエラーがテスト可能かつオーバーであり,その影響をポストホックキャリブレーション法で評価することで,このギャップを解消できることを示す。
• 参考スコア（独自算出の注目度）: 11.056629967114272
• License:
• Abstract: Forecast probabilities often serve as critical inputs for binary decision making. In such settings, calibration$\unicode{x2014}$ensuring forecasted probabilities match empirical frequencies$\unicode{x2014}$is essential. Although the common notion of Expected Calibration Error (ECE) provides actionable insights for decision making, it is not testable: it cannot be empirically estimated in many practical cases. Conversely, the recently proposed Distance from Calibration (dCE) is testable but is not actionable since it lacks decision-theoretic guarantees needed for high-stakes applications. We introduce Cutoff Calibration Error, a calibration measure that bridges this gap by assessing calibration over intervals of forecasted probabilities. We show that Cutoff Calibration Error is both testable and actionable and examine its implications for popular post-hoc calibration methods, such as isotonic regression and Platt scaling.
• Abstract（参考訳）: 予測確率は、しばしばバイナリ決定のための重要な入力として機能する。 このような設定では、キャリブレーション$\unicode{x2014}$ensuring forecasted probabilities match empirical frequency$\unicode{x2014}$ is essential。 期待校正誤差(ECE)の一般的な概念は、意思決定に実用的な洞察を与えるが、検証不可能である。 逆に、最近提案された Distance from Calibration (dCE) は、テスト可能であるが、ハイテイクアプリケーションに必要な決定論的保証がないため、実行可能である。 予測確率の間隔でキャリブレーションを評価することで,このギャップを埋めるキャリブレーション尺度であるカットオフキャリブレーション誤差を導入する。 カットオフ校正誤差は, 検証可能かつ動作可能であり, 等調回帰法やプラットスケーリング法など, 一般的なポストホック校正法に影響を及ぼすことを示す。

関連論文リスト

• Orthogonal Causal Calibration [55.28164682911196]
  我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。 我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibration Error Estimation Using Fuzzy Binning [0.0]
  ファジィビンニング手法を用いてキャリブレーション誤差を算出するファジィ誤差計量(FCE)を提案する。 以上の結果から,FCEは特にマルチクラス設定において,キャリブレーション誤差の予測に優れることがわかった。
  論文  参考訳（メタデータ） (2023-04-30T18:06:14Z)
• A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
  ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。 ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。 提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-10-13T15:11:11Z)
• Posterior Probability Matters: Doubly-Adaptive Calibration for Neural Predictions in Online Advertising [29.80454356173723]
  フィールドレベルのキャリブレーションはきめ細やかで実用的だ。 AdaCalibは、モデル予測をキャリブレーションするためにイソトニック関数ファミリーを学ぶ。 実験では、AdaCalibが校正性能を大幅に改善することを確認した。
  論文  参考訳（メタデータ） (2022-05-15T14:27:19Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Hidden Heterogeneity: When to Choose Similarity-Based Calibration [12.788224825185633]
  ブラックボックスキャリブレーション法は、キャリブレーションが予測精度を向上させるサブポレーションを検出することができない。 隠れ不均一性(HH)の定量的尺度を提案する。 実験により, 類似度に基づくキャリブレーション法によって達成されたキャリブレーションの改善は, 現在あるHH量と相関し, 十分なキャリブレーションデータを得た場合, 大域的なキャリブレーション法で達成したキャリブレーションを概ね上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-02-03T20:43:25Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。