論文の概要: Multiclass Local Calibration With the Jensen-Shannon Distance
- arxiv url: http://arxiv.org/abs/2510.26566v1
- Date: Thu, 30 Oct 2025 14:56:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-31 16:05:09.86786
- Title: Multiclass Local Calibration With the Jensen-Shannon Distance
- Title(参考訳): Jensen-Shannon 距離を用いたマルチクラス局所校正
- Authors: Cesare Barbera, Lorenzo Perini, Giovanni De Toni, Andrea Passerini, Andrea Pugnana,
- Abstract要約: マルチクラスキャリブレーションへの現在のアプローチは、入力間の距離の概念を欠いている。
これは特に、スパースインスタンスが偏りのある治療のリスクが最も高い場合の医療のような、ハイテイクな設定に関係している。
本稿では,予測確率とクラス周波数の局所推定値のアライメントを行うニューラルネットワークにおける局所キャリブレーションの実践的手法を提案する。
- 参考スコア(独自算出の注目度): 16.08047787133007
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Developing trustworthy Machine Learning (ML) models requires their predicted probabilities to be well-calibrated, meaning they should reflect true-class frequencies. Among calibration notions in multiclass classification, strong calibration is the most stringent, as it requires all predicted probabilities to be simultaneously calibrated across all classes. However, existing approaches to multiclass calibration lack a notion of distance among inputs, which makes them vulnerable to proximity bias: predictions in sparse regions of the feature space are systematically miscalibrated. This is especially relevant in high-stakes settings, such as healthcare, where the sparse instances are exactly those most at risk of biased treatment. In this work, we address this main shortcoming by introducing a local perspective on multiclass calibration. First, we formally define multiclass local calibration and establish its relationship with strong calibration. Second, we theoretically analyze the pitfalls of existing evaluation metrics when applied to multiclass local calibration. Third, we propose a practical method for enhancing local calibration in Neural Networks, which enforces alignment between predicted probabilities and local estimates of class frequencies using the Jensen-Shannon distance. Finally, we empirically validate our approach against existing multiclass calibration techniques.
- Abstract(参考訳): 信頼できる機械学習(ML)モデルを開発するには、予測された確率を十分に校正する必要がある。
多クラス分類におけるキャリブレーションの概念の中で、強いキャリブレーションが最も厳密であり、全ての予測確率を全てのクラスで同時にキャリブレーションする必要がある。
しかし、既存のマルチクラスキャリブレーションのアプローチでは、入力間の距離の概念が欠如しており、近接バイアスに弱い。
これは特に、スパースインスタンスが偏りのある治療のリスクが最も高い場合の医療のような、ハイテイクな設定に関係している。
本稿では,マルチクラスキャリブレーションの局所的な視点を導入することで,この問題に対処する。
まず,マルチクラスの局所キャリブレーションを定義し,それと強いキャリブレーションの関係を確立する。
第2に,マルチクラス局所キャリブレーションに適用した場合の既存の評価指標の落とし穴を理論的に解析する。
第3に,予測確率とJensen-Shannon距離を用いたクラス周波数の局所推定とのアライメントを行うニューラルネットワークの局所キャリブレーションの実践的手法を提案する。
最後に,既存のマルチクラス校正手法に対するアプローチを実証的に検証する。
関連論文リスト
- Scalable Utility-Aware Multiclass Calibration [53.28176049547449]
ユーティリティキャリブレーション(英: Utility calibration)は、特定のユーティリティ関数に対するキャリブレーション誤差を測定する一般的なフレームワークである。
我々は、このフレームワークが既存のキャリブレーションメトリクスを統一し、再解釈する方法を実証する。
論文 参考訳(メタデータ) (2025-10-29T12:32:14Z) - Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
キャリブレーション・リファインメント分解の新規な変分定式化について述べる。
我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
論文 参考訳(メタデータ) (2025-01-31T15:03:54Z) - Confidence Calibration of Classifiers with Many Classes [5.018156030818883]
ニューラルネットワークに基づく分類モデルでは、最大クラス確率が信頼スコアとしてしばしば使用される。
このスコアは正しい予測を行う確率を十分に予測することは滅多になく、後処理のキャリブレーションステップを必要とする。
論文 参考訳(メタデータ) (2024-11-05T10:51:01Z) - Proximity-Informed Calibration for Deep Neural Networks [49.330703634912915]
ProCalは、近接性に基づいてサンプル信頼度を調整する理論的保証を持つプラグアンドプレイアルゴリズムである。
ProCalは、近接バイアスに対処し、バランスの取れた、長い、分布シフトの設定の校正を改善するのに有効であることを示す。
論文 参考訳(メタデータ) (2023-06-07T16:40:51Z) - Hidden Heterogeneity: When to Choose Similarity-Based Calibration [12.788224825185633]
ブラックボックスキャリブレーション法は、キャリブレーションが予測精度を向上させるサブポレーションを検出することができない。
隠れ不均一性(HH)の定量的尺度を提案する。
実験により, 類似度に基づくキャリブレーション法によって達成されたキャリブレーションの改善は, 現在あるHH量と相関し, 十分なキャリブレーションデータを得た場合, 大域的なキャリブレーション法で達成したキャリブレーションを概ね上回っていることがわかった。
論文 参考訳(メタデータ) (2022-02-03T20:43:25Z) - Meta-Cal: Well-controlled Post-hoc Calibration by Ranking [23.253020991581963]
ポストホックキャリブレーションは、モデルを再キャリブレーションするためのテクニックであり、その目標はキャリブレーションマップを学ぶことです。
既存のアプローチは主に、キャリブレーション誤差の低いキャリブレーションマップの構築に重点を置いている。
校正誤差の低いキャリブレータは、実際には有用であるとは限らないため、制約下でのマルチクラス分類のポストホックキャリブレーションを研究します。
論文 参考訳(メタデータ) (2021-05-10T12:00:54Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳(メタデータ) (2021-02-22T07:22:12Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳(メタデータ) (2020-06-29T21:50:07Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。