論文の概要: Soft Mean Expected Calibration Error (SMECE): A Calibration Metric for Probabilistic Labels

• arxiv url: http://arxiv.org/abs/2603.14092v1
• Date: Sat, 14 Mar 2026 19:33:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.593863
• Title: Soft Mean Expected Calibration Error (SMECE): A Calibration Metric for Probabilistic Labels
• Title（参考訳）: ソフト平均校正誤差(SMECE):確率ラベルの校正基準
• Authors: Michael Leznik,
• Abstract要約: 予測エラー(ece)は機械学習における主要なキャリブレーション指標である。 smeceはラベルがバイナリであるときに正確にEceに還元するので、厳密な一般化になる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Expected Calibration Error (ece), the dominant calibration metric in machine learning, compares predicted probabilities against empirical frequencies of binary outcomes. This is appropriate when labels are binary events. However, many modern settings produce labels that are themselves probabilities rather than binary outcomes: a radiologist's stated confidence, a teacher model's soft output in knowledge distillation, a class posterior derived from a generative model, or an annotator agreement fraction. In these settings, ece commits a category error - it discards the probabilistic information in the label by forcing it into a binary comparison. The result is not a noisy approximation that more data will correct. It is a structural misalignment that persists and converges to the wrong answer with increasing precision as sample size grows. We introduce the Soft Mean Expected Calibration Error (smece), a calibration metric for settings where labels are of probabilistic nature. The modification to the ece formula is one line: replace the empirical hard-label fraction in each prediction bin with the mean probability label of the samples in that bin. smece reduces exactly to ece when labels are binary, making it a strict generalisation.
• Abstract（参考訳）: 機械学習における主要な校正基準である期待校正誤差(ece)は、予測確率と2進結果の実証周波数を比較する。 これはラベルがバイナリイベントである場合に適切である。 しかし、現代の多くの設定では、放射線学者の主張する自信、知識蒸留における教師モデルのソフトアウトプット、生成モデルから派生したクラスアフター、あるいはアノテーションの合意率など、二進的な結果よりもそれ自体が確率であるラベルを生成する。 これらの設定では、eceはカテゴリエラーをコミットします - バイナリ比較に強制することで、ラベルの確率情報を破棄します。 その結果は、より多くのデータが正しいといううるさい近似ではない。 構造的ミスアライメントであり、サンプルサイズが大きくなるにつれて、間違った答えを持続し、正確に収束する。 我々は,ラベルが確率論的性質を持つ設定の校正基準であるSoft Mean expected Calibration Error (smece)を紹介した。 エース式の変更は、各予測ビンにおける経験的ハードラベル分率を、その予測ビン内のサンプルの平均確率ラベルに置き換える一行である。 smeceはラベルがバイナリであるときに正確にEceに還元するので、厳密な一般化になる。

関連論文リスト

• DiCaP: Distribution-Calibrated Pseudo-labeling for Semi-Supervised Multi-Label Learning [83.94574004953346]
  半教師付きマルチラベル学習は、ラベルのないデータを活用してモデルの性能を向上させることを目的としている。 既存の手法の多くは、その品質に関わらず、すべての擬似ラベルに等しい重みを割り当てる。 擬似ラベル重みの校正に後部精度を推定する正当性認識フレームワークDiCaPを提案する。
  論文  参考訳（メタデータ） (2025-11-25T11:55:02Z)
• Practical estimation of the optimal classification error with soft labels and calibration [47.001801756596926]
  我々は,ベイズ誤差,最適誤差率を推定するために,ソフトラベルを用いた以前の研究を拡張した。 我々は、破損したソフトラベルによる推定という、より困難な問題に取り組みます。 私たちのメソッドはインスタンスフリーです。つまり、入力インスタンスへのアクセスを前提としません。
  論文  参考訳（メタデータ） (2025-05-27T06:04:57Z)
• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)
• Model Calibration in Dense Classification with Adaptive Label Perturbation [44.62722402349157]
  既存の密接な二分分類モデルは、過信される傾向がある。 本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。 ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
  論文  参考訳（メタデータ） (2023-07-25T14:40:11Z)
• How Does Pseudo-Labeling Affect the Generalization Error of the Semi-Supervised Gibbs Algorithm? [73.80001705134147]
  擬似ラベル付き半教師付き学習(SSL)におけるGibsアルゴリズムによる予測一般化誤差(ゲンエラー)を正確に評価する。 ゲンエラーは、出力仮説、擬ラベルデータセット、ラベル付きデータセットの間の対称性付きKL情報によって表現される。
  論文  参考訳（メタデータ） (2022-10-15T04:11:56Z)
• A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
  ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。 ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。 提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-10-13T15:11:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。