論文の概要: On the Usefulness of the Fit-on-the-Test View on Evaluating Calibration of Classifiers

• arxiv url: http://arxiv.org/abs/2203.08958v1
• Date: Wed, 16 Mar 2022 21:40:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 13:16:02.331189
• Title: On the Usefulness of the Fit-on-the-Test View on Evaluating Calibration of Classifiers
• Title（参考訳）: 分類器の校正評価における適合度評価の有用性について
• Authors: Markus K\"angsepp, Kaspar Valk, Meelis Kull
• Abstract要約: テストセット上のキャリブレーション誤差 (ECE) によるキャリブレーションの評価は, 明確に適合しないことを示す。 これは、評価に適合するビューを動機付けます。 (3)真のキャリブレーションマップを正確に推定できる擬似実データに対するベンチマーク,(4)新しいキャリブレーションマップファミリーPLとPL3を用いた新しいキャリブレーションと評価手法を提案する。
• 参考スコア（独自算出の注目度）: 2.026784722785915
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Every uncalibrated classifier has a corresponding true calibration map that calibrates its confidence. Deviations of this idealistic map from the identity map reveal miscalibration. Such calibration errors can be reduced with many post-hoc calibration methods which fit some family of calibration maps on a validation dataset. In contrast, evaluation of calibration with the expected calibration error (ECE) on the test set does not explicitly involve fitting. However, as we demonstrate, ECE can still be viewed as if fitting a family of functions on the test data. This motivates the fit-on-the-test view on evaluation: first, approximate a calibration map on the test data, and second, quantify its distance from the identity. Exploiting this view allows us to unlock missed opportunities: (1) use the plethora of post-hoc calibration methods for evaluating calibration; (2) tune the number of bins in ECE with cross-validation. Furthermore, we introduce: (3) benchmarking on pseudo-real data where the true calibration map can be estimated very precisely; and (4) novel calibration and evaluation methods using new calibration map families PL and PL3.
• Abstract（参考訳）: すべてのuncalibrated分類器は、その信頼度を規定する真のキャリブレーションマップを持っている。 アイデンティティマップからのこの理想主義写像の逸脱は、誤校正を明らかにする。 このようなキャリブレーション誤差は、バリデーションデータセット上のある種のキャリブレーションマップに適合する多くのポストホックキャリブレーション法によって低減することができる。 対照的に、テストセット上のキャリブレーション誤差(ECE)によるキャリブレーションの評価は、明示的には適用しない。 しかしながら、私たちが実証したように、ECEはテストデータに関数のファミリーを適合させるかのように見ることができます。 第一に、テストデータ上のキャリブレーションマップを近似し、第二に、アイデンティティからの距離を定量化する。 この考え方を活用すれば,(1)キャリブレーションの評価にポストホックキャリブレーション法を多用する,(2)ece内のビンの数をクロスバリデーションで調整するといった,逃避する機会を解放できる。 さらに,(3)真のキャリブレーションマップを正確に推定できる擬似実データに対するベンチマーク,(4)新しいキャリブレーションマップファミリーPLとPL3を用いた新しいキャリブレーションと評価手法を提案する。

関連論文リスト

• Optimizing Estimators of Squared Calibration Errors in Classification [2.3020018305241337]
  本稿では,2乗キャリブレーション誤差の推定器の比較と最適化を可能にする平均二乗誤差に基づくリスクを提案する。 キャリブレーション誤差を推定する際のトレーニングバリデーションテストパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:58:06Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• C-TPT: Calibrated Test-Time Prompt Tuning for Vision-Language Models via Text Feature Dispersion [54.81141583427542]
  深層学習において,ラベル付きデータを必要としない微調整手法としてテスト時間適応が注目されている。 本稿では,CLIPの固有特性を利用したテスト時プロンプトチューニング時の校正について検討する。 そこで本研究では,C-TPT(Calibrated Test-time Prompt Tuning)という,キャリブレーションの強化によるテスト時間中のプロンプトの最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-03-21T04:08:29Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Hidden Heterogeneity: When to Choose Similarity-Based Calibration [12.788224825185633]
  ブラックボックスキャリブレーション法は、キャリブレーションが予測精度を向上させるサブポレーションを検出することができない。 隠れ不均一性(HH)の定量的尺度を提案する。 実験により, 類似度に基づくキャリブレーション法によって達成されたキャリブレーションの改善は, 現在あるHH量と相関し, 十分なキャリブレーションデータを得た場合, 大域的なキャリブレーション法で達成したキャリブレーションを概ね上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-02-03T20:43:25Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Mitigating Bias in Calibration Error Estimation [28.46667300490605]
  本研究では,ECE_binが真の校正誤差を体系的に過小評価または過大評価できることを示すシミュレーションフレームワークを提案する。 ECE_sweep は、ビンの数をできるだけ多く選択する簡単な代替校正誤差メトリックを提案します。
  論文  参考訳（メタデータ） (2020-12-15T23:28:06Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。