論文の概要: Extending confidence calibration to generalised measures of variation
- arxiv url: http://arxiv.org/abs/2602.12975v1
- Date: Fri, 13 Feb 2026 14:49:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-16 23:37:53.987946
- Title: Extending confidence calibration to generalised measures of variation
- Title（参考訳）: 変動の一般化尺度に対する信頼度校正の拡張
- Authors: Andrew Thompson, Vivek Desai,
- Abstract要約: 本稿では,機械学習分類器の校正度を評価するための変分誤差(VCE)指標を提案する。
この計量は、最大確率または信頼性の校正を評価するよく知られた予測誤差(ECE)の拡張と見なすことができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose the Variation Calibration Error (VCE) metric for assessing the calibration of machine learning classifiers. The metric can be viewed as an extension of the well-known Expected Calibration Error (ECE) which assesses the calibration of the maximum probability or confidence. Other ways of measuring the variation of a probability distribution exist which have the advantage of taking into account the full probability distribution, for example the Shannon entropy. We show how the ECE approach can be extended from assessing confidence calibration to assessing the calibration of any metric of variation. We present numerical examples upon synthetic predictions which are perfectly calibrated by design, demonstrating that, in this scenario, the VCE has the desired property of approaching zero as the number of data samples increases, in contrast to another entropy-based calibration metric (the UCE) which has been proposed in the literature.
- Abstract（参考訳）: 本稿では,機械学習分類器の校正評価のための変分校正誤差(VCE)指標を提案する。
この計量は、最大確率または信頼性のキャリブレーションを評価する、よく知られた期待キャリブレーション誤差(ECE)の拡張と見なすことができる。
確率分布の変動を測定する他の方法として、シャノンエントロピーのような全確率分布を考慮する利点がある。
信頼性校正から変量測定の校正まで,ECE のアプローチをどのように拡張できるかを示す。
このシナリオでは、VCEは、文献で提案されている別のエントロピーベースのキャリブレーションメートル法(UCE)とは対照的に、データサンプルの数が増加するにつれてゼロに近づくという望ましい性質を持つことを示す。
関連論文リスト
- Reassessing How to Compare and Improve the Calibration of Machine Learning Models [7.183341902583164]
結果の予測確率がモデル予測に基づいてその結果の観測周波数と一致した場合、機械学習モデルを校正する。
キャリブレーションと予測の指標が追加の一般化の指標を伴わない限り、最先端のように見えるような簡単な再校正手法が存在することを示す。
論文 参考訳（メタデータ） (2024-06-06T13:33:45Z) - Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。
我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
論文 参考訳（メタデータ） (2024-05-22T18:52:09Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳（メタデータ） (2023-03-19T20:27:51Z) - Variable-Based Calibration for Machine Learning Classifiers [11.9995808096481]
モデルのキャリブレーション特性を特徴付けるために,変数ベースのキャリブレーションの概念を導入する。
ほぼ完全なキャリブレーション誤差を持つモデルでは,データの特徴の関数としてかなりの誤校正が期待できることがわかった。
論文 参考訳（メタデータ） (2022-09-30T00:49:31Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。