論文の概要: Combining Priors with Experience: Confidence Calibration Based on Binomial Process Modeling

• arxiv url: http://arxiv.org/abs/2412.10658v1
• Date: Sat, 14 Dec 2024 03:04:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:59:22.804435
• Title: Combining Priors with Experience: Confidence Calibration Based on Binomial Process Modeling
• Title（参考訳）: 優先順位と経験を組み合わせる:二項プロセスモデリングに基づく信頼度校正
• Authors: Jinzong Dong, Zhaohui Jiang, Dong Pan, Haoyang Yu,
• Abstract要約: 既存の信頼性校正法は主に統計手法を用いてデータから校正曲線を推定する。 推定キャリブレーション曲線を利用して真のキャリブレーション誤差(TCE)を推定する新しいキャリブレーション計量(TCE_bpm$)を設計する。 実世界およびシミュレーションデータにおいて,キャリブレーション手法と測定値の有効性を検証した。
• 参考スコア（独自算出の注目度）: 3.4580564656984736
• License:
• Abstract: Confidence calibration of classification models is a technique to estimate the true posterior probability of the predicted class, which is critical for ensuring reliable decision-making in practical applications. Existing confidence calibration methods mostly use statistical techniques to estimate the calibration curve from data or fit a user-defined calibration function, but often overlook fully mining and utilizing the prior distribution behind the calibration curve. However, a well-informed prior distribution can provide valuable insights beyond the empirical data under the limited data or low-density regions of confidence scores. To fill this gap, this paper proposes a new method that integrates the prior distribution behind the calibration curve with empirical data to estimate a continuous calibration curve, which is realized by modeling the sampling process of calibration data as a binomial process and maximizing the likelihood function of the binomial process. We prove that the calibration curve estimating method is Lipschitz continuous with respect to data distribution and requires a sample size of $3/B$ of that required for histogram binning, where $B$ represents the number of bins. Also, a new calibration metric ($TCE_{bpm}$), which leverages the estimated calibration curve to estimate the true calibration error (TCE), is designed. $TCE_{bpm}$ is proven to be a consistent calibration measure. Furthermore, realistic calibration datasets can be generated by the binomial process modeling from a preset true calibration curve and confidence score distribution, which can serve as a benchmark to measure and compare the discrepancy between existing calibration metrics and the true calibration error. The effectiveness of our calibration method and metric are verified in real-world and simulated data.
• Abstract（参考訳）: 分類モデルの信頼性校正は、予測されたクラスの真の後続確率を推定する手法であり、実際的な応用において信頼性の高い意思決定を保証するために重要である。 既存の信頼性キャリブレーション法は、データからキャリブレーション曲線を推定したり、ユーザーが定義したキャリブレーション関数に適合させたりするために統計手法を主に用いているが、多くの場合、完全にマイニングし、キャリブレーション曲線の背後にある以前の分布を利用する。 しかし、十分にインフォームドされた事前分布は、限られたデータまたは信頼度スコアの低密度領域の下での経験的データを超えた貴重な洞察を与えることができる。 このギャップを埋めるために, キャリブレーション曲線の先行分布を経験的データと統合して連続キャリブレーション曲線を推定する手法を提案し, キャリブレーションデータのサンプリング過程を二項過程としてモデル化し, 二項過程の確率関数を最大化する手法を提案する。 キャリブレーション曲線推定法はデータ分布に関してリプシッツ連続であり, ヒストグラムビンニングに必要な標本サイズが3/B$であることを示す。 また、推定キャリブレーション曲線を利用して真のキャリブレーション誤差(TCE)を推定する新しいキャリブレーション計量(TCE_{bpm}$)を設計する。 TCE_{bpm}$は一貫した校正測度であることが証明されている。 さらに、プリセットされた真のキャリブレーション曲線と信頼スコア分布から二項プロセスモデリングにより現実的なキャリブレーションデータセットを生成することができ、既存のキャリブレーション指標と真のキャリブレーション誤差との差を測定・比較するためのベンチマークとなる。 実世界およびシミュレーションデータにおいて,キャリブレーション手法と測定値の有効性を検証した。

関連論文リスト

• Optimizing Estimators of Squared Calibration Errors in Classification [2.3020018305241337]
  本稿では,2乗キャリブレーション誤差の推定器の比較と最適化を可能にする平均二乗誤差に基づくリスクを提案する。 キャリブレーション誤差を推定する際のトレーニングバリデーションテストパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:58:06Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
  ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。 ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。 提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-10-13T15:11:11Z)
• Obtaining Calibrated Probabilities with Personalized Ranking Models [16.883188358641398]
  ユーザがどれだけアイテムを好むかの、キャリブレーションされた確率を推定する。 本稿では,ガウスキャリブレーションとガンマキャリブレーションの2つのパラメトリックキャリブレーション法を提案する。 キャリブレーション手法を導出するアンバイアスな経験的リスク最小化フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-12-09T11:08:41Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Mitigating Bias in Calibration Error Estimation [28.46667300490605]
  本研究では,ECE_binが真の校正誤差を体系的に過小評価または過大評価できることを示すシミュレーションフレームワークを提案する。 ECE_sweep は、ビンの数をできるだけ多く選択する簡単な代替校正誤差メトリックを提案します。
  論文  参考訳（メタデータ） (2020-12-15T23:28:06Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。