論文の概要: How to validate average calibration for machine learning regression
tasks ?
- arxiv url: http://arxiv.org/abs/2402.10043v1
- Date: Thu, 15 Feb 2024 16:05:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 14:59:10.451391
- Title: How to validate average calibration for machine learning regression
tasks ?
- Title(参考訳): 機械学習回帰タスクの平均キャリブレーションを検証するには?
- Authors: Pascal Pernot
- Abstract要約: 機械学習回帰タスクの不確実性の平均校正は2つの方法で検証できる。
1つの方法は、キャリブレーション誤差(CE)を平均絶対誤差(MSE)と平均分散(MV)または平均二乗不確実性(MV)の差として推定することである。
もう1つは、平均二乗zスコアまたはスケールドエラー(ZMS)を 1 と比較することである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Average calibration of the uncertainties of machine learning regression tasks
can be tested in two ways. One way is to estimate the calibration error (CE) as
the difference between the mean absolute error (MSE) and the mean variance (MV)
or mean squared uncertainty. The alternative is to compare the mean squared
z-scores or scaled errors (ZMS) to 1. Both approaches might lead to different
conclusion, as illustrated on an ensemble of datasets from the recent machine
learning uncertainty quantification literature. It is shown here that the CE is
very sensitive to the distribution of uncertainties, and notably to the
presence of outlying uncertainties, and that it cannot be used reliably for
calibration testing. By contrast, the ZMS statistic does not present this
sensitivity issue and offers the most reliable approach in this context.
Implications for the validation of conditional calibration are discussed.
- Abstract(参考訳): 機械学習回帰タスクの不確実性の平均キャリブレーションは、2つの方法でテストできる。
1つの方法は、キャリブレーション誤差(CE)を平均絶対誤差(MSE)と平均分散(MV)または平均二乗不確実性(MV)の差として推定することである。
別の方法は、平均二乗zスコアまたはスケールドエラー(ZMS)を 1 と比較することである。
どちらのアプローチも、最近の機械学習の不確実性定量化文学のデータセットの集合に示されているように、異なる結論につながる可能性がある。
ここでは、CEは不確実性の分布、特に外部の不確実性の存在に非常に敏感であり、校正試験には確実に使用できないことが示されている。
対照的に、ZMS統計はこの感度問題を示しておらず、この文脈でもっとも信頼できるアプローチを提供する。
条件キャリブレーションの妥当性について考察した。
関連論文リスト
- Validation of ML-UQ calibration statistics using simulated reference
values: a sensitivity analysis [0.0]
いくつかの一般的な機械学習不確実量化(ML-UQ)キャリブレーション統計は、予め定義された参照値を持っていない。
実際の不確実性から導出される合成校正データセットに基づく模擬参照値は,この問題を緩和するために提案されている。
本研究は, この問題の諸側面を考察し, 検証に使用する生成分布の選択に過度に敏感な統計結果を示す。
論文 参考訳(メタデータ) (2024-03-01T10:19:32Z) - Towards Understanding Variants of Invariant Risk Minimization through the Lens of Calibration [0.6906005491572401]
実世界のアプリケーションでは、テスト分布はトレーニングとは異なることが多い。
不変リスク最小化(Invariant Risk Minimization)は、異なる環境間で不変な特徴を特定し、アウト・オブ・ディストリビューションを強化することを目的としている。
本研究では,これらの近似IRM手法について検討し,予測誤差(ECE)を指標として検討した。
論文 参考訳(メタデータ) (2024-01-31T02:08:43Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳(メタデータ) (2023-09-28T13:04:11Z) - Properties of the ENCE and other MAD-based calibration metrics [0.0]
expecteded Normalized Error (ENCE) は、機械学習で一般的なキャリブレーション統計である。
同様の振る舞いはzスコア(ZVE)の分散に基づく校正誤差に影響し、どちらの場合もこの性質は平均絶対偏差(MAD)統計を用いて校正誤差を推定した結果である。
推定されたデータセットのビン数に依存しないence値とZVE値をキャリブレーションする解が提案されている。
論文 参考訳(メタデータ) (2023-05-17T08:51:42Z) - Identifying Incorrect Classifications with Balanced Uncertainty [21.130311978327196]
不確実性推定は、コストに敏感なディープラーニングアプリケーションには不可欠である。
本研究では,不確実性推定における不均衡を2種類の分布バイアスとしてモデル化するための分布不均衡を提案する。
そこで我々は,新たな分布的焦点損失目標を持つ不確実性推定器を学習する,バランスト・トゥルー・クラス確率フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-15T11:52:31Z) - A Statistical Analysis of Summarization Evaluation Metrics using
Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。
多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文 参考訳(メタデータ) (2021-03-31T18:28:14Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳(メタデータ) (2021-03-23T17:48:56Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳(メタデータ) (2021-03-04T20:51:03Z) - Uncertainty Quantification in Extreme Learning Machine: Analytical
Developments, Variance Estimates and Confidence Intervals [0.0]
不確かさの定量化は、機械学習モデルの予測品質を評価するために不可欠である。
文献で提案されるほとんどの手法は、データに対して強い仮定を行い、入力重みのランダム性を無視したり、信頼区間推定におけるバイアス寄与を無視したりする。
本稿では,これらの制約を克服し,EMMの多様性の理解を向上させる新しい推定法を提案する。
論文 参考訳(メタデータ) (2020-11-03T13:45:59Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。