論文の概要: Can we trust our models? Epistemic calibration in second-order classification

• arxiv url: http://arxiv.org/abs/2606.10777v1
• Date: Tue, 09 Jun 2026 12:31:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.489544
• Title: Can we trust our models? Epistemic calibration in second-order classification
• Title（参考訳）: モデルは信頼できますか?二階分類における疫学的キャリブレーション
• Authors: Arthur Hoarau,
• Abstract要約: 本稿では, 既往の疫学的不確かさが, モデル予測の分散を忠実に反映しているかどうかを判断する原理的基準を導入する。 この概念を運用するために、本論文では、真性てんかん(TECE)の一貫性のある推定器であることを証明した、期待されたてんかん(EECE)を提案する。
• 参考スコア（独自算出の注目度）: 0.7310043452300737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty estimation is critical for deploying machine learning models in high-stakes settings. However, classical calibration only assesses the reliability of predicted probabilities and does not evaluate whether epistemic uncertainty estimates are themselves trustworthy. This limitation is particularly relevant for second-order classification models. We introduce epistemic calibration, a principled criterion that measures whether reported epistemic uncertainty faithfully reflects the dispersion of model predictions around the ground truth. We show that epistemic calibration is a strictly stronger notion than classical calibration and captures failure modes invisible to standard metrics. We relate this work to the existing literature through an impossibility theorem that holds under the epistemic calibration hypothesis. To operationalize this concept, we propose the Expected Epistemic Calibration Error (EECE), which we prove to be a consistent estimator of a True Epistemic Calibration Error (TECE). Experiments across a broad range of uncertainty quantification methods show that epistemic calibration is a coherent and meaningful criterion and reveal substantial differences across methods, despite similar predictive performance.
• Abstract（参考訳）: 高精度な設定で機械学習モデルをデプロイするには、不確実性推定が不可欠である。 しかし、古典的なキャリブレーションは予測される確率の信頼性のみを評価し、疫学的な不確実性推定がそれ自体が信頼に値するかどうかを評価しない。 この制限は二階分類モデルに特に関係している。 本稿では, モデル予測の分散を忠実に反映した認識の不確かさを計測する, 基本的基準であるてんかん校正を導入する。 疫学的なキャリブレーションは古典的なキャリブレーションよりも厳密な概念であり、標準メトリクスに見えない障害モードをキャプチャする。 この研究は、疫学の校正仮説の下で成り立つ不合理性定理を通じて、既存の文献に関連付ける。 この概念を運用するために、本論文では、真の疫学的校正誤差(TECE)の一貫した推定器であることを証明したEECE(Preciped Epistemic Calibration Error)を提案する。 広範囲にわたる不確実性定量化手法の実験により、疫学の校正は一貫性があり有意義な基準であり、同様の予測性能にもかかわらず、方法間で大きな違いが示された。

関連論文リスト

• Uncertainty-Aware Post-Hoc Calibration: Mitigating Confidently Incorrect Predictions Beyond Calibration Metrics [6.9681910774977815]
  本稿では、校正品質と不確実性を考慮した意思決定を向上させるためのポストホック校正フレームワークを提案する。 校正基準,不確実性認識性能測定,実証的コンフォメーションカバレッジを用いて総合評価を行った。 実験により,提案手法はイソトニックおよび焦点損失ベースラインと比較して,信頼性の低い予測精度と競合予測誤差を実現することが示された。
  論文  参考訳（メタデータ） (2025-10-19T23:55:36Z)
• A Confidence Interval for the $\ell_2$ Expected Calibration Error [35.88784957918326]
  我々は信頼区間を$ell$ expected the Error (ECE) で開発する。 信頼性キャリブレーションの一般的な概念とキャリブレーションの両方を含む,トップ1からk$のキャリブレーションを考える。 ECEのデバイアスド推定器では、正規性を示すが、校正モデルとミスドモデルに対する収束率と分散は異なる。
  論文  参考訳（メタデータ） (2024-08-16T20:00:08Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Calibration tests beyond classification [30.616624345970973]
  ほとんどの教師付き機械学習タスクは、既約予測エラーを被る。 確率論的予測モデルは、妥当な目標に対する信念を表す確率分布を提供することによって、この制限に対処する。 校正されたモデルは、予測が過信でも過信でもないことを保証します。
  論文  参考訳（メタデータ） (2022-10-21T09:49:57Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。