論文の概要: Consistent and Asymptotically Unbiased Estimation of Proper Calibration
Errors
- arxiv url: http://arxiv.org/abs/2312.08589v1
- Date: Thu, 14 Dec 2023 01:20:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 00:20:48.291413
- Title: Consistent and Asymptotically Unbiased Estimation of Proper Calibration
Errors
- Title(参考訳): 適切な校正誤差の一貫性と漸近的不偏推定
- Authors: Teodora Popordanoska, Sebastian G. Gruber, Aleksei Tiulpin, Florian
Buettner, Matthew B. Blaschko
- Abstract要約: 本稿では,全ての適切な校正誤差と精錬項を一貫した推定を可能にする手法を提案する。
ニューラルネットワークにおける情報単調性を意味するf-分節と精製の関係を実証する。
本実験は,提案した推定器のクレーム特性を検証し,特に関心のキャリブレーション誤差によって,ポストホックキャリブレーション法の選択が決定されるべきであることを示唆した。
- 参考スコア(独自算出の注目度): 23.819464242327257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Proper scoring rules evaluate the quality of probabilistic predictions,
playing an essential role in the pursuit of accurate and well-calibrated
models. Every proper score decomposes into two fundamental components -- proper
calibration error and refinement -- utilizing a Bregman divergence. While
uncertainty calibration has gained significant attention, current literature
lacks a general estimator for these quantities with known statistical
properties. To address this gap, we propose a method that allows consistent,
and asymptotically unbiased estimation of all proper calibration errors and
refinement terms. In particular, we introduce Kullback--Leibler calibration
error, induced by the commonly used cross-entropy loss. As part of our results,
we prove the relation between refinement and f-divergences, which implies
information monotonicity in neural networks, regardless of which proper scoring
rule is optimized. Our experiments validate empirically the claimed properties
of the proposed estimator and suggest that the selection of a post-hoc
calibration method should be determined by the particular calibration error of
interest.
- Abstract(参考訳): 適切なスコアリングルールは確率的予測の品質を評価し、正確で校正されたモデルの追求に不可欠な役割を果たす。
すべての適切なスコアは、ブレグマンの発散を利用して、2つの基本的なコンポーネント(適切な校正誤差と精細化)に分解される。
不確実性の校正は注目されているが、現在の文献は、既知の統計的性質を持つこれらの量に対する一般的な推定器を欠いている。
そこで本研究では,すべての適切な校正誤差と補正項の一貫性,漸近的および偏りのない推定を可能にする手法を提案する。
特に,一般的に使用されるクロスエントロピー損失によるKulback-Leiblerキャリブレーション誤差を導入する。
本研究の結果は, 適切なスコアリングルールが最適化されているかに関わらず, ニューラルネットワークにおける情報単調性を意味するf-分節と精製の関係を証明した。
本実験は,提案する推定器の特性を実証的に検証し,ポストホックキャリブレーション法の選択は,特定のキャリブレーション誤差によって決定されるべきであることを示す。
関連論文リスト
- Calibrated Uncertainty Quantification for Operator Learning via
Conformal Prediction [95.75771195913046]
本稿では, リスク制御型量子ニューラル演算子, 分布のない有限サンプル機能キャリブレーション等式予測法を提案する。
関数領域上の点の期待値として定義されるカバレッジ率に関する理論的キャリブレーションを保証する。
2次元ダーシー流と3次元自動車表面圧力予測タスクに関する実験結果から,我々の理論的結果が検証された。
論文 参考訳(メタデータ) (2024-02-02T23:43:28Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳(メタデータ) (2023-10-31T06:19:40Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳(メタデータ) (2023-03-19T20:27:51Z) - A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。
ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。
提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
論文 参考訳(メタデータ) (2022-10-13T15:11:11Z) - Parametric and Multivariate Uncertainty Calibration for Regression and
Object Detection [4.630093015127541]
一般的な検出モデルでは,観測誤差と比較して空間的不確かさが過大評価されている。
実験の結果, 簡便な等速回帰補正法は, 良好な校正不確実性を実現するのに十分であることがわかった。
対照的に、後続のプロセスに正規分布が必要な場合、GP-Normal再校正法が最良の結果をもたらす。
論文 参考訳(メタデータ) (2022-07-04T08:00:20Z) - Better Uncertainty Calibration via Proper Scores for Classification and
Beyond [15.981380319863527]
各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。
この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
論文 参考訳(メタデータ) (2022-03-15T12:46:08Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳(メタデータ) (2021-02-22T07:22:12Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳(メタデータ) (2020-06-29T21:50:07Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。