論文の概要: CRUDE: Calibrating Regression Uncertainty Distributions Empirically
- arxiv url: http://arxiv.org/abs/2005.12496v6
- Date: Mon, 15 Mar 2021 02:30:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 23:29:46.914817
- Title: CRUDE: Calibrating Regression Uncertainty Distributions Empirically
- Title(参考訳): CRUDE: 漸進的不確実性分布のキャリブレーション
- Authors: Eric Zelikman, Christopher Healy, Sharon Zhou, Anand Avati
- Abstract要約: 機械学習における校正された不確実性推定は、自動運転車、医療、天気予報、気候予報など多くの分野において重要である。
本稿では,特定の不確実性分布を仮定しない回帰設定のキャリブレーション手法を提案する: 回帰不確実性分布のキャリブレーション(CRUDE)。
CRUDEは、最先端技術よりも、一貫してシャープで、校正され、正確な不確実性の推定値を示す。
- 参考スコア(独自算出の注目度): 4.552831400384914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Calibrated uncertainty estimates in machine learning are crucial to many
fields such as autonomous vehicles, medicine, and weather and climate
forecasting. While there is extensive literature on uncertainty calibration for
classification, the classification findings do not always translate to
regression. As a result, modern models for predicting uncertainty in regression
settings typically produce uncalibrated and overconfident estimates. To address
these gaps, we present a calibration method for regression settings that does
not assume a particular uncertainty distribution over the error: Calibrating
Regression Uncertainty Distributions Empirically (CRUDE). CRUDE makes the
weaker assumption that error distributions have a constant arbitrary shape
across the output space, shifted by predicted mean and scaled by predicted
standard deviation. We detail a theoretical connection between CRUDE and
conformal inference. Across an extensive set of regression tasks, CRUDE
demonstrates consistently sharper, better calibrated, and more accurate
uncertainty estimates than state-of-the-art techniques.
- Abstract(参考訳): 機械学習における不確実性推定の校正は、自動運転車、医療、気象・気候予報など多くの分野に不可欠である。
分類の不確実性校正に関する文献は多数存在するが, 分類結果は必ずしも回帰に変換されない。
その結果、回帰設定における不確実性を予測する現代のモデルは、通常、不正確で過剰な推定を生成する。
これらのギャップに対処するため、回帰不確実性分布の校正法として、特定の不確実性分布を誤差の上に想定しない回帰設定の校正法を提案する。
CRUDEは、誤差分布が出力空間全体に一定の任意の形状を持ち、予測平均によってシフトし、予測標準偏差によってスケールされるという仮定を弱める。
CRUDEと共形推論の理論的関係を詳述する。
大規模なレグレッションタスク全体にわたって、CRUDEは、最先端の技術よりも一貫してシャープで、校正され、より正確な不確実性の推定値を示す。
関連論文リスト
- A Confidence Interval for the $\ell_2$ Expected Calibration Error [35.88784957918326]
我々は信頼区間を$ell$ expected the Error (ECE) で開発する。
信頼性キャリブレーションの一般的な概念とキャリブレーションの両方を含む,トップ1からk$のキャリブレーションを考える。
ECEのデバイアスド推定器では、正規性を示すが、校正モデルとミスドモデルに対する収束率と分散は異なる。
論文 参考訳(メタデータ) (2024-08-16T20:00:08Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳(メタデータ) (2023-10-31T06:19:40Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳(メタデータ) (2023-09-28T13:04:11Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳(メタデータ) (2022-03-03T16:58:54Z) - Recalibration of Aleatoric and Epistemic Regression Uncertainty in
Medical Imaging [2.126171264016785]
回帰における不確実性は、信頼できない予測の堅牢な拒絶や、分布外サンプルの検出を可能にする。
sigma $ scalingは予測の不確実性を確実に再調整することができる。
論文 参考訳(メタデータ) (2021-04-26T07:18:58Z) - Improving model calibration with accuracy versus uncertainty
optimization [17.056768055368384]
適切に校正されたモデルは、その予測が確実であるときに正確であり、不正確な場合に高い不確実性を示すべきである。
精度と不確実性の関係を不確実性校正のアンカーとして活用する最適化手法を提案する。
平均場変動推定によるアプローチの実証と最先端手法との比較を行った。
論文 参考訳(メタデータ) (2020-12-14T20:19:21Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳(メタデータ) (2020-06-29T21:50:07Z) - Calibration of Model Uncertainty for Dropout Variational Inference [1.8065361710947976]
本稿では,モデルの不確実性を再検討するために,異なるロジットスケーリング手法を拡張し,変動予測をドロップアウトに拡張する。
実験の結果,ロジットスケーリングはUCEによる誤校正を著しく低減することがわかった。
論文 参考訳(メタデータ) (2020-06-20T14:12:55Z) - Individual Calibration with Randomized Forecasting [116.2086707626651]
予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。
我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
論文 参考訳(メタデータ) (2020-06-18T05:53:10Z) - Calibrated Reliable Regression using Maximum Mean Discrepancy [45.45024203912822]
現代のディープニューラルネットワークは依然として信頼できない予測の不確実性を生んでいる。
本稿では、回帰タスクにおいて、よく校正された予測を得ることを懸念する。
非自明な実データセットに対する実験により,本手法は高い校正と鋭い予測間隔を生成できることが示された。
論文 参考訳(メタデータ) (2020-06-18T03:38:12Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。