論文の概要: Properties of the ENCE and other MAD-based calibration metrics
- arxiv url: http://arxiv.org/abs/2305.11905v1
- Date: Wed, 17 May 2023 08:51:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-28 05:19:26.939407
- Title: Properties of the ENCE and other MAD-based calibration metrics
- Title（参考訳）: enceおよび他のMADに基づく校正指標の特性
- Authors: Pascal Pernot
- Abstract要約: expecteded Normalized Error (ENCE) は、機械学習で一般的なキャリブレーション統計である。
同様の振る舞いはzスコア(ZVE)の分散に基づく校正誤差に影響し、どちらの場合もこの性質は平均絶対偏差(MAD)統計を用いて校正誤差を推定した結果である。
推定されたデータセットのビン数に依存しないence値とZVE値をキャリブレーションする解が提案されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Expected Normalized Calibration Error (ENCE) is a popular calibration
statistic used in Machine Learning to assess the quality of prediction
uncertainties for regression problems. Estimation of the ENCE is based on the
binning of calibration data. In this short note, I illustrate an annoying
property of the ENCE, i.e. its proportionality to the square root of the number
of bins for well calibrated or nearly calibrated datasets. A similar behavior
affects the calibration error based on the variance of z-scores (ZVE), and in
both cases this property is a consequence of the use of a Mean Absolute
Deviation (MAD) statistic to estimate calibration errors. Hence, the question
arises of which number of bins to choose for a reliable estimation of
calibration error statistics. A solution is proposed to infer ENCE and ZVE
values that do not depend on the number of bins for datasets assumed to be
calibrated, providing simultaneously a statistical calibration test. It is also
shown that the ZVE is less sensitive than the ENCE to outstanding errors or
uncertainties.
- Abstract（参考訳）: expecteded Normalized Calibration Error (ENCE) は、回帰問題に対する予測の不確かさの質を評価するために機械学習で使われる一般的なキャリブレーション統計である。
CEの推定はキャリブレーションデータのバイナリ化に基づいている。
この短い注記で、私はenceの厄介な性質、すなわち、よく校正されたまたはほぼ校正されたデータセットのビンの数の平方根に比例していることを示します。
同様の振る舞いはzスコア(ZVE)の分散に基づく校正誤差に影響し、どちらの場合もこの性質は平均絶対偏差(MAD)統計を用いて校正誤差を推定した結果である。
したがって、この問題はキャリブレーション誤差統計量の信頼できる推定のためにどのビンを選ぶかという問題である。
キャリブレーションされたと仮定されるデータセットのビン数に依存しないence値とZVE値を推定し、同時に統計的キャリブレーションテストを行う方法が提案されている。
また、ZVEは異常や不確実性に対するセンセーションよりも感度が低いことも示されている。
関連論文リスト
- Optimizing Estimators of Squared Calibration Errors in Classification [2.3020018305241337]
本稿では,2乗キャリブレーション誤差の推定器の比較と最適化を可能にする平均二乗誤差に基づくリスクを提案する。
キャリブレーション誤差を推定する際のトレーニングバリデーションテストパイプラインを提案する。
論文 参考訳（メタデータ） (2024-10-09T15:58:06Z) - Orthogonal Causal Calibration [55.28164682911196]
我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。
我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
論文 参考訳（メタデータ） (2024-06-04T03:35:25Z) - Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。
我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
論文 参考訳（メタデータ） (2024-05-22T18:52:09Z) - Validation of ML-UQ calibration statistics using simulated reference values: a sensitivity analysis [0.0]
いくつかの一般的な機械学習不確実量化(ML-UQ)キャリブレーション統計は、予め定義された参照値を持っていない。
実際の不確実性から導出される合成校正データセットに基づく模擬参照値は,この問題を緩和するために提案されている。
本研究は, この問題の諸側面を考察し, 検証に使用する生成分布の選択に過度に敏感な統計結果を示す。
論文 参考訳（メタデータ） (2024-03-01T10:19:32Z) - Negative impact of heavy-tailed uncertainty and error distributions on the reliability of calibration statistics for machine learning regression tasks [0.0]
重み付き不確実性および誤差分布に対して,MV,MSE,それらの信頼区間の推定は信頼性に欠けることが示されている。
同じ問題が、一般的なenceのような条件付きキャリブレーション統計にも影響することが期待されている。
論文 参考訳（メタデータ） (2024-02-15T16:05:35Z) - Consistent and Asymptotically Unbiased Estimation of Proper Calibration
Errors [23.819464242327257]
本稿では,全ての適切な校正誤差と精錬項を一貫した推定を可能にする手法を提案する。
ニューラルネットワークにおける情報単調性を意味するf-分節と精製の関係を実証する。
本実験は,提案した推定器のクレーム特性を検証し,特に関心のキャリブレーション誤差によって,ポストホックキャリブレーション法の選択が決定されるべきであることを示唆した。
論文 参考訳（メタデータ） (2023-12-14T01:20:08Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Stratification of uncertainties recalibrated by isotonic regression and
its impact on calibration error statistics [0.0]
等調回帰による予測の不確かさの補正は、ビンベースの校正誤差統計に問題をもたらす可能性がある。
このことがキャリブレーション診断にどのように影響するかを例に示します。
論文 参考訳（メタデータ） (2023-06-08T13:24:39Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。