論文の概要: How to validate average calibration for machine learning regression
tasks ?
- arxiv url: http://arxiv.org/abs/2402.10043v2
- Date: Fri, 1 Mar 2024 09:34:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-04 13:39:02.179868
- Title: How to validate average calibration for machine learning regression
tasks ?
- Title(参考訳): 機械学習回帰タスクの平均キャリブレーションを検証するには?
- Authors: Pascal Pernot
- Abstract要約: 機械学習回帰タスクの不確実性の平均校正は2つの方法で検証できる。
1つの方法は、キャリブレーション誤差(CE)を平均絶対誤差(MSE)と平均分散(MV)または平均二乗不確実性(MV)の差として推定することである。
もう1つは、平均二乗zスコアまたはスケールドエラー(ZMS)を 1 と比較することである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Average calibration of the uncertainties of machine learning regression tasks
can be tested in two ways. One way is to estimate the calibration error (CE) as
the difference between the mean absolute error (MSE) and the mean variance (MV)
or mean squared uncertainty. The alternative is to compare the mean squared
z-scores or scaled errors (ZMS) to 1. Both approaches might lead to different
conclusion, as illustrated on an ensemble of datasets from the recent machine
learning uncertainty quantification literature. It is shown here that the CE is
very sensitive to the distribution of uncertainties, and notably to the
presence of outlying uncertainties, and that it cannot be used reliably for
calibration testing. By contrast, the ZMS statistic does not present this
sensitivity issue and offers the most reliable approach in this context.
Implications for the validation of conditional calibration are discussed.
- Abstract(参考訳): 機械学習回帰タスクの不確実性の平均キャリブレーションは、2つの方法でテストできる。
1つの方法は、キャリブレーション誤差(CE)を平均絶対誤差(MSE)と平均分散(MV)または平均二乗不確実性(MV)の差として推定することである。
別の方法は、平均二乗zスコアまたはスケールドエラー(ZMS)を 1 と比較することである。
どちらのアプローチも、最近の機械学習の不確実性定量化文学のデータセットの集合に示されているように、異なる結論につながる可能性がある。
ここでは、CEは不確実性の分布、特に外部の不確実性の存在に非常に敏感であり、校正試験には確実に使用できないことが示されている。
対照的に、ZMS統計はこの感度問題を示しておらず、この文脈でもっとも信頼できるアプローチを提供する。
条件キャリブレーションの妥当性について考察した。
関連論文リスト
- Validation of ML-UQ calibration statistics using simulated reference
values: a sensitivity analysis [0.0]
いくつかの一般的な機械学習不確実量化(ML-UQ)キャリブレーション統計は、予め定義された参照値を持っていない。
実際の不確実性から導出される合成校正データセットに基づく模擬参照値は,この問題を緩和するために提案されている。
本研究は, この問題の諸側面を考察し, 検証に使用する生成分布の選択に過度に敏感な統計結果を示す。
論文 参考訳(メタデータ) (2024-03-01T10:19:32Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳(メタデータ) (2023-10-31T06:19:40Z) - Properties of the ENCE and other MAD-based calibration metrics [0.0]
expecteded Normalized Error (ENCE) は、機械学習で一般的なキャリブレーション統計である。
同様の振る舞いはzスコア(ZVE)の分散に基づく校正誤差に影響し、どちらの場合もこの性質は平均絶対偏差(MAD)統計を用いて校正誤差を推定した結果である。
推定されたデータセットのビン数に依存しないence値とZVE値をキャリブレーションする解が提案されている。
論文 参考訳(メタデータ) (2023-05-17T08:51:42Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳(メタデータ) (2021-03-04T20:51:03Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳(メタデータ) (2021-02-22T07:22:12Z) - Improving model calibration with accuracy versus uncertainty
optimization [17.056768055368384]
適切に校正されたモデルは、その予測が確実であるときに正確であり、不正確な場合に高い不確実性を示すべきである。
精度と不確実性の関係を不確実性校正のアンカーとして活用する最適化手法を提案する。
平均場変動推定によるアプローチの実証と最先端手法との比較を行った。
論文 参考訳(メタデータ) (2020-12-14T20:19:21Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳(メタデータ) (2020-06-29T21:50:07Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z) - Calibration of Model Uncertainty for Dropout Variational Inference [1.8065361710947976]
本稿では,モデルの不確実性を再検討するために,異なるロジットスケーリング手法を拡張し,変動予測をドロップアウトに拡張する。
実験の結果,ロジットスケーリングはUCEによる誤校正を著しく低減することがわかった。
論文 参考訳(メタデータ) (2020-06-20T14:12:55Z) - CRUDE: Calibrating Regression Uncertainty Distributions Empirically [4.552831400384914]
機械学習における校正された不確実性推定は、自動運転車、医療、天気予報、気候予報など多くの分野において重要である。
本稿では,特定の不確実性分布を仮定しない回帰設定のキャリブレーション手法を提案する: 回帰不確実性分布のキャリブレーション(CRUDE)。
CRUDEは、最先端技術よりも、一貫してシャープで、校正され、正確な不確実性の推定値を示す。
論文 参考訳(メタデータ) (2020-05-26T03:08:43Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。