論文の概要: Validation of ML-UQ calibration statistics using simulated reference
values: a sensitivity analysis
- arxiv url: http://arxiv.org/abs/2403.00423v1
- Date: Fri, 1 Mar 2024 10:19:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 17:35:28.736459
- Title: Validation of ML-UQ calibration statistics using simulated reference
values: a sensitivity analysis
- Title（参考訳）: シミュレーション基準値を用いたml-uq校正統計の検証:感度解析
- Authors: Pascal Pernot
- Abstract要約: いくつかの一般的な機械学習不確実量化(ML-UQ)キャリブレーション統計は、予め定義された参照値を持っていない。
実際の不確実性から導出される合成校正データセットに基づく模擬参照値は,この問題を緩和するために提案されている。
本研究は, この問題の諸側面を考察し, 検証に使用する生成分布の選択に過度に敏感な統計結果を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Some popular Machine Learning Uncertainty Quantification (ML-UQ) calibration
statistics do not have predefined reference values and are mostly used in
comparative studies. In consequence, calibration is almost never validated and
the diagnostic is left to the appreciation of the reader. Simulated reference
values, based on synthetic calibrated datasets derived from actual
uncertainties, have been proposed to palliate this problem. As the generative
probability distribution for the simulation of synthetic errors is often not
constrained, the sensitivity of simulated reference values to the choice of
generative distribution might be problematic, shedding a doubt on the
calibration diagnostic. This study explores various facets of this problem, and
shows that some statistics are excessively sensitive to the choice of
generative distribution to be used for validation when the generative
distribution is unknown. This is the case, for instance, of the correlation
coefficient between absolute errors and uncertainties (CC) and of the expected
normalized calibration error (ENCE). A robust validation workflow to deal with
simulated reference values is proposed.
- Abstract（参考訳）: いくつかの一般的な機械学習不確実量化(ML-UQ)キャリブレーション統計は、予め定義された基準値を持っておらず、主に比較研究で使われている。
その結果、キャリブレーションはほとんど検証されず、診断は読者の理解に委ねられる。
実際の不確実性から導出される合成校正データセットに基づくシミュレーション参照値は,この問題を緩和するために提案されている。
合成誤差のシミュレーションのための生成確率分布はしばしば制限されないため、生成分布の選択に対するシミュレーションされた基準値の感度が問題となり、校正診断に疑問が生じる可能性がある。
本研究は,この問題の様々な側面を考察し,生成分布が不明な場合の検証に用いる生成分布の選択に過度に敏感な統計値が存在することを示す。
これは例えば、絶対誤差と不確実性(CC)の相関係数と、期待される正規化校正誤差(ENCE)の相関係数である。
シミュレーションされた参照値を扱う堅牢な検証ワークフローを提案する。
関連論文リスト
- Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。
我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
論文 参考訳（メタデータ） (2024-05-22T18:52:09Z) - Negative impact of heavy-tailed uncertainty and error distributions on the reliability of calibration statistics for machine learning regression tasks [0.0]
重み付き不確実性および誤差分布に対して,MV,MSE,それらの信頼区間の推定は信頼性に欠けることが示されている。
同じ問題が、一般的なenceのような条件付きキャリブレーション統計にも影響することが期待されている。
論文 参考訳（メタデータ） (2024-02-15T16:05:35Z) - Consistent and Asymptotically Unbiased Estimation of Proper Calibration
Errors [23.819464242327257]
本稿では,全ての適切な校正誤差と精錬項を一貫した推定を可能にする手法を提案する。
ニューラルネットワークにおける情報単調性を意味するf-分節と精製の関係を実証する。
本実験は,提案した推定器のクレーム特性を検証し,特に関心のキャリブレーション誤差によって,ポストホックキャリブレーション法の選択が決定されるべきであることを示唆した。
論文 参考訳（メタデータ） (2023-12-14T01:20:08Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳（メタデータ） (2023-09-28T13:04:11Z) - Properties of the ENCE and other MAD-based calibration metrics [0.0]
expecteded Normalized Error (ENCE) は、機械学習で一般的なキャリブレーション統計である。
同様の振る舞いはzスコア(ZVE)の分散に基づく校正誤差に影響し、どちらの場合もこの性質は平均絶対偏差(MAD)統計を用いて校正誤差を推定した結果である。
推定されたデータセットのビン数に依存しないence値とZVE値をキャリブレーションする解が提案されている。
論文 参考訳（メタデータ） (2023-05-17T08:51:42Z) - Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。
本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。
我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文 参考訳（メタデータ） (2023-02-23T12:17:36Z) - Parametric and Multivariate Uncertainty Calibration for Regression and
Object Detection [4.630093015127541]
一般的な検出モデルでは,観測誤差と比較して空間的不確かさが過大評価されている。
実験の結果, 簡便な等速回帰補正法は, 良好な校正不確実性を実現するのに十分であることがわかった。
対照的に、後続のプロセスに正規分布が必要な場合、GP-Normal再校正法が最良の結果をもたらす。
論文 参考訳（メタデータ） (2022-07-04T08:00:20Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - Theoretical characterization of uncertainty in high-dimensional linear
classification [24.073221004661427]
本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。
我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
論文 参考訳（メタデータ） (2022-02-07T15:32:07Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳（メタデータ） (2020-06-29T21:50:07Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。