論文の概要: Decision-Making under Miscalibration
- arxiv url: http://arxiv.org/abs/2203.09852v1
- Date: Fri, 18 Mar 2022 10:44:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-21 21:52:52.742240
- Title: Decision-Making under Miscalibration
- Title(参考訳): ミススキャリブレーションによる意思決定
- Authors: Guy N. Rothblum and Gal Yona
- Abstract要約: MLベースの予測は、個人について連続的な決定を伝えるために使用される。
予想される$alpha$の誤校正を前提に、最悪の場合の後悔を最小限に抑えるしきい値である$j$を使うことを提案する。
予測校正誤差と最大校正誤差の両方を用いて誤校正が測定された場合、$j$の閉形式式を提供する。
実データに関する理論的知見を検証し,j$を用いた意思決定が臨床的有用性を改善する自然な事例があることを実証した。
- 参考スコア(独自算出の注目度): 14.762226638396209
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: ML-based predictions are used to inform consequential decisions about
individuals. How should we use predictions (e.g., risk of heart attack) to
inform downstream binary classification decisions (e.g., undergoing a medical
procedure)? When the risk estimates are perfectly calibrated, the answer is
well understood: a classification problem's cost structure induces an optimal
treatment threshold $j^{\star}$. In practice, however, some amount of
miscalibration is unavoidable, raising a fundamental question: how should one
use potentially miscalibrated predictions to inform binary decisions? We
formalize a natural (distribution-free) solution concept: given anticipated
miscalibration of $\alpha$, we propose using the threshold $j$ that minimizes
the worst-case regret over all $\alpha$-miscalibrated predictors, where the
regret is the difference in clinical utility between using the threshold in
question and using the optimal threshold in hindsight. We provide closed form
expressions for $j$ when miscalibration is measured using both expected and
maximum calibration error, which reveal that it indeed differs from $j^{\star}$
(the optimal threshold under perfect calibration). We validate our theoretical
findings on real data, demonstrating that there are natural cases in which
making decisions using $j$ improves the clinical utility.
- Abstract(参考訳): MLベースの予測は、個人について連続的な決定を伝えるために使用される。
下流のバイナリ分類決定(医療処置の実施など)に予測(心臓発作のリスクなど)を用いるには、どうすればよいのか?
リスク推定が完全に校正されると、その答えはよく理解される: 分類問題のコスト構造は、最適な治療閾値$j^{\star}$を誘導する。
しかし実際には、ある程度のミスキャリブレーションは避けられず、基本的な疑問が浮かび上がっている。
我々は、自然な(分配のない)ソリューションの概念を定式化する:$\alpha$の誤校正を前提に、すべての$\alpha$-miscalibrated予測子に対する最悪の後悔を最小限に抑えるしきい値$j$を使うことを提案する。
予測校正誤差と最大校正誤差の両方を用いて誤校正が測定された場合の$j$に対する閉形式式は、$j^{\star}$(完全校正条件下での最適しきい値)と実際に異なることを示す。
実データに関する理論的知見を検証し,j$を用いた意思決定が臨床的有用性を改善する自然な事例があることを実証した。
関連論文リスト
- On Computationally Efficient Multi-Class Calibration [10.151389596072283]
プロジェクトのキャリブレーションは、下流の意思決定者全員に強い保証を与えます。
これは、ラベルに割り当てられた確率を$T$にまとめることで予測される確率が、完全に校正されたバイナリ予測器に近いことを保証している。
論文 参考訳(メタデータ) (2024-02-12T17:25:23Z) - On Calibration and Conformal Prediction of Deep Classifiers [11.784544255941166]
その目的のための2つの一般的な後処理アプローチは、1)キャリブレーションと2)共形予測である。
本研究では, 温度スケーリング, 最も一般的なキャリブレーション手法が顕著なCP法に与える影響について検討した。
論文 参考訳(メタデータ) (2024-02-08T16:45:12Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy
Optimization [63.32053223422317]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
特に、MDP上の分布によって誘導される値の分散を特徴付けることに焦点をあてる。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
論文 参考訳(メタデータ) (2023-12-07T15:55:58Z) - Minimax Instrumental Variable Regression and $L_2$ Convergence
Guarantees without Identification or Closedness [71.42652863687117]
インストゥルメンタル変数(IV)回帰の非パラメトリック推定について検討した。
固定IV解に収束できる新しいペナル化ミニマックス推定器を提案する。
ラックス条件下での推定値に対して強い$L$誤差率を導出する。
論文 参考訳(メタデータ) (2023-02-10T18:08:49Z) - A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。
ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。
提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
論文 参考訳(メタデータ) (2022-10-13T15:11:11Z) - On Calibrated Model Uncertainty in Deep Learning [0.0]
損失校正されたベイジアンフレームワークの近似推論を,ドロップウェイトに基づくベイジアンニューラルネットワークに拡張する。
損失校正された不確実性から得られる決定は、簡単な代替手段よりも、診断性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2022-06-15T20:16:32Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳(メタデータ) (2022-03-03T16:58:54Z) - Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain
Adaptation [154.2195491708548]
ランダムに選択されたデータバッチの分類出力行列の構造について検討し,予測可能性と多様性について検討した。
本稿では,目標出力行列上で核ノルムを行い,目標予測能力を向上するBatch Nuclear-norm Maximization and Minimizationを提案する。
実験により,本手法は3つの典型的なドメイン適応シナリオにおいて適応精度とロバスト性を高めることができることが示された。
論文 参考訳(メタデータ) (2021-07-13T15:08:32Z) - Calibrating Predictions to Decisions: A Novel Approach to Multi-Class
Calibration [118.26862029820447]
我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。
決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
論文 参考訳(メタデータ) (2021-07-12T20:17:28Z) - Recalibration of Aleatoric and Epistemic Regression Uncertainty in
Medical Imaging [2.126171264016785]
回帰における不確実性は、信頼できない予測の堅牢な拒絶や、分布外サンプルの検出を可能にする。
sigma $ scalingは予測の不確実性を確実に再調整することができる。
論文 参考訳(メタデータ) (2021-04-26T07:18:58Z) - Regret-Optimal Filtering [57.51328978669528]
後悔最適化レンズによる線形状態空間モデルにおけるフィルタの問題を検討する。
我々は, 透視推定器の誤差エネルギー推定における後悔の概念に基づいて, フィルタ設計のための新しい基準を定式化する。
3つのリッキー方程式と1つのリャプノフ方程式を解くことで、後悔と最適推定が容易に実現できることを示す。
論文 参考訳(メタデータ) (2021-01-25T19:06:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。