論文の概要: Decision-Making under Miscalibration

• arxiv url: http://arxiv.org/abs/2203.09852v1
• Date: Fri, 18 Mar 2022 10:44:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-21 21:52:52.742240
• Title: Decision-Making under Miscalibration
• Title（参考訳）: ミススキャリブレーションによる意思決定
• Authors: Guy N. Rothblum and Gal Yona
• Abstract要約: MLベースの予測は、個人について連続的な決定を伝えるために使用される。 予想される$alpha$の誤校正を前提に、最悪の場合の後悔を最小限に抑えるしきい値である$j$を使うことを提案する。 予測校正誤差と最大校正誤差の両方を用いて誤校正が測定された場合、$j$の閉形式式を提供する。 実データに関する理論的知見を検証し,j$を用いた意思決定が臨床的有用性を改善する自然な事例があることを実証した。
• 参考スコア（独自算出の注目度）: 14.762226638396209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ML-based predictions are used to inform consequential decisions about individuals. How should we use predictions (e.g., risk of heart attack) to inform downstream binary classification decisions (e.g., undergoing a medical procedure)? When the risk estimates are perfectly calibrated, the answer is well understood: a classification problem's cost structure induces an optimal treatment threshold $j^{\star}$. In practice, however, some amount of miscalibration is unavoidable, raising a fundamental question: how should one use potentially miscalibrated predictions to inform binary decisions? We formalize a natural (distribution-free) solution concept: given anticipated miscalibration of $\alpha$, we propose using the threshold $j$ that minimizes the worst-case regret over all $\alpha$-miscalibrated predictors, where the regret is the difference in clinical utility between using the threshold in question and using the optimal threshold in hindsight. We provide closed form expressions for $j$ when miscalibration is measured using both expected and maximum calibration error, which reveal that it indeed differs from $j^{\star}$ (the optimal threshold under perfect calibration). We validate our theoretical findings on real data, demonstrating that there are natural cases in which making decisions using $j$ improves the clinical utility.
• Abstract（参考訳）: MLベースの予測は、個人について連続的な決定を伝えるために使用される。 下流のバイナリ分類決定(医療処置の実施など)に予測(心臓発作のリスクなど)を用いるには、どうすればよいのか? リスク推定が完全に校正されると、その答えはよく理解される: 分類問題のコスト構造は、最適な治療閾値$j^{\star}$を誘導する。 しかし実際には、ある程度のミスキャリブレーションは避けられず、基本的な疑問が浮かび上がっている。 我々は、自然な(分配のない)ソリューションの概念を定式化する:$\alpha$の誤校正を前提に、すべての$\alpha$-miscalibrated予測子に対する最悪の後悔を最小限に抑えるしきい値$j$を使うことを提案する。 予測校正誤差と最大校正誤差の両方を用いて誤校正が測定された場合の$j$に対する閉形式式は、$j^{\star}$(完全校正条件下での最適しきい値)と実際に異なることを示す。 実データに関する理論的知見を検証し,j$を用いた意思決定が臨床的有用性を改善する自然な事例があることを実証した。

関連論文リスト

• Towards Calibrated Losses for Adversarial Robust Reject Option Classification [3.263508275825069]
  本稿では,"Adrial Robust Reject Option"設定でキャリブレーションされたサロゲートのキャラクタリゼーションと設計を目的とした。 任意のサロゲートが$(ell_dgamma,mathcalH_textrmlin)$-キャリブレーションされるような完全なキャラクタリゼーション結果を提供する。
  論文  参考訳（メタデータ） (2024-10-14T17:17:04Z)
• Calibrating Where It Matters: Constrained Temperature Scaling [0.0]
  臨床意思決定者は、キャリブレーションされた分類器を使用して、自身のコスト関数から期待されるコストを最小限にすることができる。 皮膚内視鏡画像の分類を訓練したコンブネットを用いて,キャリブレーションの改善を実演した。
  論文  参考訳（メタデータ） (2024-06-17T12:14:31Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。 我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
  ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。 ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。 提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-10-13T15:11:11Z)
• On Calibrated Model Uncertainty in Deep Learning [0.0]
  損失校正されたベイジアンフレームワークの近似推論を,ドロップウェイトに基づくベイジアンニューラルネットワークに拡張する。 損失校正された不確実性から得られる決定は、簡単な代替手段よりも、診断性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-06-15T20:16:32Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Calibrating Predictions to Decisions: A Novel Approach to Multi-Class Calibration [118.26862029820447]
  我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。 決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
  論文  参考訳（メタデータ） (2021-07-12T20:17:28Z)
• Recalibration of Aleatoric and Epistemic Regression Uncertainty in Medical Imaging [2.126171264016785]
  回帰における不確実性は、信頼できない予測の堅牢な拒絶や、分布外サンプルの検出を可能にする。 sigma $ scalingは予測の不確実性を確実に再調整することができる。
  論文  参考訳（メタデータ） (2021-04-26T07:18:58Z)
• Regret-Optimal Filtering [57.51328978669528]
  後悔最適化レンズによる線形状態空間モデルにおけるフィルタの問題を検討する。 我々は, 透視推定器の誤差エネルギー推定における後悔の概念に基づいて, フィルタ設計のための新しい基準を定式化する。 3つのリッキー方程式と1つのリャプノフ方程式を解くことで、後悔と最適推定が容易に実現できることを示す。
  論文  参考訳（メタデータ） (2021-01-25T19:06:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。