論文の概要: Smooth ECE: Principled Reliability Diagrams via Kernel Smoothing
- arxiv url: http://arxiv.org/abs/2309.12236v1
- Date: Thu, 21 Sep 2023 16:30:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 14:20:36.183563
- Title: Smooth ECE: Principled Reliability Diagrams via Kernel Smoothing
- Title(参考訳): Smooth ECE: Kernel Smoothingによる原則的信頼性図
- Authors: Jaros{\l}aw B{\l}asiok, Preetum Nakkiran
- Abstract要約: 信頼性図の構築とキャリブレーション対策 -- ビンニングとECE -- の両方を簡単な修正で修正できることが示される。
また、キャリブレーションの測定とプロットのための、単純でハイパーパラメータフリーなメソッドを備えたPythonパッケージも提供します。
- 参考スコア(独自算出の注目度): 11.837121453390754
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Calibration measures and reliability diagrams are two fundamental tools for
measuring and interpreting the calibration of probabilistic predictors.
Calibration measures quantify the degree of miscalibration, and reliability
diagrams visualize the structure of this miscalibration. However, the most
common constructions of reliability diagrams and calibration measures --
binning and ECE -- both suffer from well-known flaws (e.g. discontinuity). We
show that a simple modification fixes both constructions: first smooth the
observations using an RBF kernel, then compute the Expected Calibration Error
(ECE) of this smoothed function. We prove that with a careful choice of
bandwidth, this method yields a calibration measure that is well-behaved in the
sense of (B{\l}asiok, Gopalan, Hu, and Nakkiran 2023a) -- a consistent
calibration measure. We call this measure the SmoothECE. Moreover, the
reliability diagram obtained from this smoothed function visually encodes the
SmoothECE, just as binned reliability diagrams encode the BinnedECE.
We also provide a Python package with simple, hyperparameter-free methods for
measuring and plotting calibration: `pip install relplot\`.
- Abstract(参考訳): キャリブレーション測度と信頼性図は確率予測器のキャリブレーションを測定し解釈するための2つの基本的なツールである。
校正尺度はミスキャリブレーションの程度を定量化し、信頼性図はこのミスキャリブレーションの構造を可視化する。
しかしながら、信頼性ダイアグラムとキャリブレーション対策 (binning と ECE) の最も一般的な構成は、どちらもよく知られた欠陥(例えば不連続性)に悩まされている。
まず、RBFカーネルを用いて観測を滑らかにし、次に、この滑らかな関数の期待校正誤差(ECE)を計算する。
本手法は,帯域幅を慎重に選択することで, (b{\l}asiok, gopalan, hu, and nakkiran 2023a) という意味で十分に把握できるキャリブレーション尺度が得られることを証明した。
これをSmoothECEと呼ぶ。
さらに、この滑らかな関数から得られる信頼性図は、BinnedECEを符号化したバイナリ信頼性図と同様に、SmoothECEを視覚的に符号化する。
キャリブレーションの測定とプロットのためのシンプルなハイパーパラメータフリーメソッドを備えたPythonパッケージも提供しています。
関連論文リスト
- Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳(メタデータ) (2023-10-31T06:19:40Z) - Calibration Error Estimation Using Fuzzy Binning [0.0]
ファジィビンニング手法を用いてキャリブレーション誤差を算出するファジィ誤差計量(FCE)を提案する。
以上の結果から,FCEは特にマルチクラス設定において,キャリブレーション誤差の予測に優れることがわかった。
論文 参考訳(メタデータ) (2023-04-30T18:06:14Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Revisiting Calibration for Question Answering [16.54743762235555]
従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。
モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
論文 参考訳(メタデータ) (2022-05-25T05:49:56Z) - Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。
物体検出校正のための最先端校正性能を実現する。
論文 参考訳(メタデータ) (2021-09-21T10:53:16Z) - Parameterized Temperature Scaling for Boosting the Expressive Power in
Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。
最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。
当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2021-02-24T10:18:30Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳(メタデータ) (2021-02-22T07:22:12Z) - Mitigating Bias in Calibration Error Estimation [28.46667300490605]
本研究では,ECE_binが真の校正誤差を体系的に過小評価または過大評価できることを示すシミュレーションフレームワークを提案する。
ECE_sweep は、ビンの数をできるだけ多く選択する簡単な代替校正誤差メトリックを提案します。
論文 参考訳(メタデータ) (2020-12-15T23:28:06Z) - Uncertainty Quantification and Deep Ensembles [79.4957965474334]
ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。
そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。
このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
論文 参考訳(メタデータ) (2020-07-17T07:32:24Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z) - Mix-n-Match: Ensemble and Compositional Methods for Uncertainty
Calibration in Deep Learning [21.08664370117846]
我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。
標準評価プラクティスの潜在的な問題も明らかにします。
我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
論文 参考訳(メタデータ) (2020-03-16T17:00:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。