論文の概要: Stratification of uncertainties recalibrated by isotonic regression and
its impact on calibration error statistics
- arxiv url: http://arxiv.org/abs/2306.05180v1
- Date: Thu, 8 Jun 2023 13:24:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 14:14:56.178730
- Title: Stratification of uncertainties recalibrated by isotonic regression and
its impact on calibration error statistics
- Title（参考訳）: 等張回帰による不確かさの階層化と校正誤差統計への影響
- Authors: Pascal Pernot
- Abstract要約: 等調回帰による予測の不確かさの補正は、ビンベースの校正誤差統計に問題をもたらす可能性がある。
このことがキャリブレーション診断にどのように影響するかを例に示します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Abstract Post hoc recalibration of prediction uncertainties of machine
learning regression problems by isotonic regression might present a problem for
bin-based calibration error statistics (e.g. ENCE). Isotonic regression often
produces stratified uncertainties, i.e. subsets of uncertainties with identical
numerical values. Partitioning of the resulting data into equal-sized bins
introduces an aleatoric component to the estimation of bin-based calibration
statistics. The partitioning of stratified data into bins depends on the order
of the data, which is typically an uncontrolled property of calibration
test/validation sets. The tie-braking method of the ordering algorithm used for
binning might also introduce an aleatoric component. I show on an example how
this might significantly affect the calibration diagnostics.
- Abstract（参考訳）: 等調回帰による機械学習回帰問題の予測の不確かさの抽象的再検討は、ビンベースの校正誤差統計(例えばence)に問題をもたらす可能性がある。
等調回帰はしばしば成層的不確実性、すなわち同じ数値を持つ不確実性のサブセットを生成する。
結果データを等サイズのバイナリに分割することで、binベースのキャリブレーション統計量の推定にaleatoricコンポーネントが導入される。
階層化されたデータのビンへの分割はデータの順序に依存するが、通常はキャリブレーションテスト/検証セットの制御不能な性質である。
バイナリ化に使用する順序付けアルゴリズムのタイブレーキ法も、アレータティックコンポーネントを導入するかもしれない。
このことがキャリブレーション診断にどのように影響するかを例に示します。
関連論文リスト
- Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。
さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。
我々は多種多様な高次元データにまたがって理論を検証する。
論文 参考訳（メタデータ） (2024-08-08T17:27:29Z) - Validation of ML-UQ calibration statistics using simulated reference values: a sensitivity analysis [0.0]
いくつかの一般的な機械学習不確実量化(ML-UQ)キャリブレーション統計は、予め定義された参照値を持っていない。
実際の不確実性から導出される合成校正データセットに基づく模擬参照値は,この問題を緩和するために提案されている。
本研究は, この問題の諸側面を考察し, 検証に使用する生成分布の選択に過度に敏感な統計結果を示す。
論文 参考訳（メタデータ） (2024-03-01T10:19:32Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳（メタデータ） (2023-09-28T13:04:11Z) - Properties of the ENCE and other MAD-based calibration metrics [0.0]
expecteded Normalized Error (ENCE) は、機械学習で一般的なキャリブレーション統計である。
同様の振る舞いはzスコア(ZVE)の分散に基づく校正誤差に影響し、どちらの場合もこの性質は平均絶対偏差(MAD)統計を用いて校正誤差を推定した結果である。
推定されたデータセットのビン数に依存しないence値とZVE値をキャリブレーションする解が提案されている。
論文 参考訳（メタデータ） (2023-05-17T08:51:42Z) - Causal isotonic calibration for heterogeneous treatment effects [0.5249805590164901]
異種治療効果の予測因子を校正する新しい非パラメトリック手法である因果等方性キャリブレーションを提案する。
また、データ効率の良いキャリブレーションの変種であるクロスキャリブレーションを導入し、ホールドアウトキャリブレーションセットの必要性を排除した。
論文 参考訳（メタデータ） (2023-02-27T18:07:49Z) - Parametric and Multivariate Uncertainty Calibration for Regression and
Object Detection [4.630093015127541]
一般的な検出モデルでは,観測誤差と比較して空間的不確かさが過大評価されている。
実験の結果, 簡便な等速回帰補正法は, 良好な校正不確実性を実現するのに十分であることがわかった。
対照的に、後続のプロセスに正規分布が必要な場合、GP-Normal再校正法が最良の結果をもたらす。
論文 参考訳（メタデータ） (2022-07-04T08:00:20Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳（メタデータ） (2020-06-29T21:50:07Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z) - Individual Calibration with Randomized Forecasting [116.2086707626651]
予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。
我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
論文 参考訳（メタデータ） (2020-06-18T05:53:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。