論文の概要: TCE: A Test-Based Approach to Measuring Calibration Error

• arxiv url: http://arxiv.org/abs/2306.14343v1
• Date: Sun, 25 Jun 2023 21:12:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 15:23:17.284549
• Title: TCE: A Test-Based Approach to Measuring Calibration Error
• Title（参考訳）: TCE: 校正誤差測定のためのテストベースアプローチ
• Authors: Takuo Matsubara, Niek Tax, Richard Mudd, Ido Guy
• Abstract要約: テストベースキャリブレーション誤差(TCE)と呼ばれる確率的二値分類器の校正誤差を測定するための新しい尺度を提案する。 TCEは,データから推定される確率とモデル予測がどの程度異なるかを調べるために,統計テストに基づく新しい損失関数を組み込んだ。 我々は,複数の実世界の不均衡データセットや ImageNet 1000 など,様々な実験を通じてTCEの特性を実証する。
• 参考スコア（独自算出の注目度）: 7.06037484978289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a new metric to measure the calibration error of probabilistic binary classifiers, called test-based calibration error (TCE). TCE incorporates a novel loss function based on a statistical test to examine the extent to which model predictions differ from probabilities estimated from data. It offers (i) a clear interpretation, (ii) a consistent scale that is unaffected by class imbalance, and (iii) an enhanced visual representation with repect to the standard reliability diagram. In addition, we introduce an optimality criterion for the binning procedure of calibration error metrics based on a minimal estimation error of the empirical probabilities. We provide a novel computational algorithm for optimal bins under bin-size constraints. We demonstrate properties of TCE through a range of experiments, including multiple real-world imbalanced datasets and ImageNet 1000.
• Abstract（参考訳）: 本稿では,テストベースキャリブレーション誤差(TCE)と呼ばれる確率的二値分類器の校正誤差を測定するための新しい尺度を提案する。 TCEは,データから推定される確率とモデル予測がどの程度異なるかを調べるために,統計テストに基づく新しい損失関数を組み込んだ。 提供します (i)明確な解釈。 (ii)クラス不均衡の影響を受けない一貫した尺度 (iii)標準信頼性図に準拠した視覚表現の強化。 また,経験的確率の最小推定誤差に基づいて,キャリブレーション誤差メトリクスのバイナリ化手順の最適性基準を提案する。 ビンサイズ制約下での最適ビンに対する新しい計算アルゴリズムを提案する。 複数の実世界の不均衡データセットや ImageNet 1000 など,さまざまな実験を通じてTCEの特性を実証する。

関連論文リスト

• Calibrating Deep Neural Network using Euclidean Distance [5.675312975435121]
  機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。 高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。 本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
  論文  参考訳（メタデータ） (2024-10-23T23:06:50Z)
• Beyond Calibration: Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence [2.2359781747539396]
  ディープネットワークは、しばしば過剰な自信と不一致な予測分布に悩まされる。 本稿では,条件付きカーネルの平均埋め込みを用いて,学習した予測分布とデータセットにおける経験的条件分布との距離を推定する,条件付きコングルーエンス誤差(CCE)について紹介する。 本研究では,1)データ生成プロセスが知られている場合の分布間の不一致を正確に定量化し,2)実世界の高次元画像回帰タスクに効果的にスケールし,3)未知のインスタンス上でのモデルの信頼性を評価することができることを示す。
  論文  参考訳（メタデータ） (2024-05-20T23:30:07Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Mitigating Bias in Calibration Error Estimation [28.46667300490605]
  本研究では,ECE_binが真の校正誤差を体系的に過小評価または過大評価できることを示すシミュレーションフレームワークを提案する。 ECE_sweep は、ビンの数をできるだけ多く選択する簡単な代替校正誤差メトリックを提案します。
  論文  参考訳（メタデータ） (2020-12-15T23:28:06Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。