論文の概要: Smooth Calibration and Decision Making

• arxiv url: http://arxiv.org/abs/2504.15582v1
• Date: Tue, 22 Apr 2025 04:55:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 22:24:35.302057
• Title: Smooth Calibration and Decision Making
• Title（参考訳）: 平滑な校正と意思決定
• Authors: Jason Hartline, Yifan Wu, Yunran Yang,
• Abstract要約: オンライン予測器をキャリブレーションするために$eps$で後処理すると、$O(sqrtepsilon)$ ECEとCDLが得られることを示す。 最適境界は、既存のオンラインキャリブレーションアルゴリズムと比較して最適ではない。
• 参考スコア（独自算出の注目度）: 11.51844809748468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Calibration requires predictor outputs to be consistent with their Bayesian posteriors. For machine learning predictors that do not distinguish between small perturbations, calibration errors are continuous in predictions, e.g., smooth calibration error (Foster and Hart, 2018), Distance to Calibration (Blasiok et al., 2023a). On the contrary, decision-makers who use predictions make optimal decisions discontinuously in probabilistic space, experiencing loss from miscalibration discontinuously. Calibration errors for decision-making are thus discontinuous, e.g., Expected Calibration Error (Foster and Vohra, 1997), and Calibration Decision Loss (Hu and Wu, 2024). Thus, predictors with a low calibration error for machine learning may suffer a high calibration error for decision-making, i.e., they may not be trustworthy for decision-makers optimizing assuming their predictions are correct. It is natural to ask if post-processing a predictor with a low calibration error for machine learning is without loss to achieve a low calibration error for decision-making. In our paper, we show that post-processing an online predictor with $\epsilon$ distance to calibration achieves $O(\sqrt{\epsilon})$ ECE and CDL, which is asymptotically optimal. The post-processing algorithm adds noise to make predictions differentially private. The optimal bound from low distance to calibration predictors from post-processing is non-optimal compared with existing online calibration algorithms that directly optimize for ECE and CDL.
• Abstract（参考訳）: キャリブレーションでは、予測器の出力がベイズの後部と整合することを要求している。 小さな摂動を区別しない機械学習予測器では、キャリブレーションエラーは、例えば、滑らかなキャリブレーションエラー(Foster and Hart, 2018), Distance to Calibration(Blasiok et al , 2023a)など、予測において連続している。 逆に、予測を用いた意思決定者は、確率的空間において不連続に最適な決定をし、不連続に誤校正による損失を経験する。 したがって、意思決定の校正エラーは不連続であり、例えば、期待校正エラー(Foster and Vohra, 1997)、校正決定損失(Hu and Wu, 2024)である。 したがって、機械学習のキャリブレーション誤差が低い予測器は、意思決定において高いキャリブレーション誤差を被る可能性がある。 機械学習のキャリブレーション誤差が低い予測器の処理後処理が損失なく、意思決定のキャリブレーション誤差が低いのかを問うのは当然である。 本稿では,オンライン予測器のキャリブレーションまでの距離が$\epsilon$$O(\sqrt{\epsilon})$ ECEおよびCDLが漸近的に最適であることを示す。 後処理アルゴリズムはノイズを追加し、予測を分別的にプライベートにする。 ECEとCDLを直接最適化する既存のオンラインキャリブレーションアルゴリズムと比較して、後処理による低距離からキャリブレーション予測器への最適境界は最適ではない。

関連論文リスト

• Orthogonal Causal Calibration [55.28164682911196]
  我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。 我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Calibration Error for Decision Making [15.793486463552144]
  そこで本研究では,決定理論のキャリブレーション誤差である決定損失(CDL)を,予測値から得られる意思決定報酬の最大化として定義する。 CDLと既存の校正誤差メトリクスの分離を示す。 我々の主な技術的貢献は、ほぼ最適の$O(fraclog TsqrtT)$期待のCDLを達成する、オンラインキャリブレーションのための新しい効率的なアルゴリズムである。
  論文  参考訳（メタデータ） (2024-04-21T01:53:20Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• When Does Optimizing a Proper Loss Yield Calibration? [12.684962113589515]
  局所最適性を持つ任意の予測器が滑らかなキャリブレーションを満たすことを示す。 また,局所最適度とキャリブレーション誤差の関連性も両立していることが示唆された。
  論文  参考訳（メタデータ） (2023-05-30T05:53:34Z)
• Calibration Error Estimation Using Fuzzy Binning [0.0]
  ファジィビンニング手法を用いてキャリブレーション誤差を算出するファジィ誤差計量(FCE)を提案する。 以上の結果から,FCEは特にマルチクラス設定において,キャリブレーション誤差の予測に優れることがわかった。
  論文  参考訳（メタデータ） (2023-04-30T18:06:14Z)
• Revisiting Calibration for Question Answering [16.54743762235555]
  従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。 モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
  論文  参考訳（メタデータ） (2022-05-25T05:49:56Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Calibrating Predictions to Decisions: A Novel Approach to Multi-Class Calibration [118.26862029820447]
  我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。 決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
  論文  参考訳（メタデータ） (2021-07-12T20:17:28Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。