論文の概要: Calibration Error for Decision Making
- arxiv url: http://arxiv.org/abs/2404.13503v5
- Date: Thu, 10 Oct 2024 22:15:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-14 13:29:08.357702
- Title: Calibration Error for Decision Making
- Title（参考訳）: 意思決定のための校正誤差
- Authors: Lunjia Hu, Yifan Wu,
- Abstract要約: そこで本研究では,決定理論のキャリブレーション誤差である決定損失(CDL)を,予測値から得られる意思決定報酬の最大化として定義する。
CDLと既存の校正誤差メトリクスの分離を示す。
我々の主な技術的貢献は、ほぼ最適の$O(fraclog TsqrtT)$期待のCDLを達成する、オンラインキャリブレーションのための新しい効率的なアルゴリズムである。
- 参考スコア（独自算出の注目度）: 15.793486463552144
- License:
- Abstract: Calibration allows predictions to be reliably interpreted as probabilities by decision makers. We propose a decision-theoretic calibration error, the Calibration Decision Loss (CDL), defined as the maximum improvement in decision payoff obtained by calibrating the predictions, where the maximum is over all payoff-bounded decision tasks. Vanishing CDL guarantees the payoff loss from miscalibration vanishes simultaneously for all downstream decision tasks. We show separations between CDL and existing calibration error metrics, including the most well-studied metric Expected Calibration Error (ECE). Our main technical contribution is a new efficient algorithm for online calibration that achieves near-optimal $O(\frac{\log T}{\sqrt{T}})$ expected CDL, bypassing the $\Omega(T^{-0.472})$ lower bound for ECE by Qiao and Valiant (2021).
- Abstract（参考訳）: キャリブレーションにより、予測は意思決定者による確率として確実に解釈できる。
本稿では,決定理論による判定誤差である校正決定損失(CDL)を提案する。
CDLの無効化は、下流のすべての意思決定タスクに対して、誤校正による支払い損失が同時に消失することを保証します。
本稿では,CDLと既存の校正誤差指標の分離について述べる。
我々の主な技術的貢献は、Qiao と Valiant (2021) による ECE に対する $\Omega(T^{-0.472})$ lower bound をバイパスして、ほぼ最適の $O(\frac{\log T}{\sqrt{T}})$ expected CDL を達成する、オンラインキャリブレーションのための新しい効率的なアルゴリズムである。
関連論文リスト
- Orthogonal Causal Calibration [55.28164682911196]
我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。
我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
論文 参考訳（メタデータ） (2024-06-04T03:35:25Z) - Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。
我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
論文 参考訳（メタデータ） (2024-05-22T18:52:09Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Calibration Error Estimation Using Fuzzy Binning [0.0]
ファジィビンニング手法を用いてキャリブレーション誤差を算出するファジィ誤差計量(FCE)を提案する。
以上の結果から,FCEは特にマルチクラス設定において,キャリブレーション誤差の予測に優れることがわかった。
論文 参考訳（メタデータ） (2023-04-30T18:06:14Z) - Calibrating Predictions to Decisions: A Novel Approach to Multi-Class
Calibration [118.26862029820447]
我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。
決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
論文 参考訳（メタデータ） (2021-07-12T20:17:28Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z) - Transferable Calibration with Lower Bias and Variance in Domain
Adaptation [139.4332115349543]
ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの学習マシンの転送を可能にする。
DAモデルの予測的不確実性を推定する方法は、安全クリティカルなシナリオにおける意思決定に不可欠である。
TransCalは既存のDAメソッドの校正に簡単に適用できる。
論文 参考訳（メタデータ） (2020-07-16T11:09:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。