論文の概要: Classifier Calibration: How to assess and improve predicted class
probabilities: a survey
- arxiv url: http://arxiv.org/abs/2112.10327v1
- Date: Mon, 20 Dec 2021 03:50:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-22 01:14:56.597114
- Title: Classifier Calibration: How to assess and improve predicted class
probabilities: a survey
- Title(参考訳): 分類校正:予測されたクラス確率の評価と改善方法:調査
- Authors: Telmo Silva Filho, Hao Song, Miquel Perello-Nieto, Raul
Santos-Rodriguez, Meelis Kull, Peter Flach
- Abstract要約: 適切に校正された分類器は、そのインスタンスワイド予測に関連する不確実性や信頼性のレベルを正しく定量化する。
これは、重要なアプリケーション、最適な意思決定、コストに敏感な分類、そしてある種の状況変化に不可欠である。
- 参考スコア(独自算出の注目度): 10.587567878098444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper provides both an introduction to and a detailed overview of the
principles and practice of classifier calibration. A well-calibrated classifier
correctly quantifies the level of uncertainty or confidence associated with its
instance-wise predictions. This is essential for critical applications, optimal
decision making, cost-sensitive classification, and for some types of context
change. Calibration research has a rich history which predates the birth of
machine learning as an academic field by decades. However, a recent increase in
the interest on calibration has led to new methods and the extension from
binary to the multiclass setting. The space of options and issues to consider
is large, and navigating it requires the right set of concepts and tools. We
provide both introductory material and up-to-date technical details of the main
concepts and methods, including proper scoring rules and other evaluation
metrics, visualisation approaches, a comprehensive account of post-hoc
calibration methods for binary and multiclass classification, and several
advanced topics.
- Abstract(参考訳): 本稿では,分類器校正の原理と実践の概要について概説する。
well-calibrated classifierは、インスタンス毎の予測に関連する不確実性や信頼性のレベルを正しく定量化する。
これは、重要なアプリケーション、最適な意思決定、コストに敏感な分類、ある種のコンテキスト変更に不可欠である。
校正研究は、何十年にもわたって学術分野としての機械学習の誕生以前の豊富な歴史を持っている。
しかし、近年のキャリブレーションへの関心の高まりにより、新しいメソッドやバイナリーからマルチクラス設定への拡張がもたらされている。
選択肢と考慮すべき課題の空間は大きく、それをナビゲートするには適切な概念とツールが必要です。
評価基準や評価基準,可視化手法,バイナリ分類とマルチクラス分類のためのポストホックキャリブレーション手法の包括的説明,いくつかの高度なトピックを含む,主要な概念と手法の紹介資料と最新の技術詳細の両方を提供する。
関連論文リスト
- Anomaly Detection using Ensemble Classification and Evidence Theory [62.997667081978825]
本稿では,アンサンブル分類とエビデンス理論を用いた新しい検出手法を提案する。
固体アンサンブル分類器を構築するためのプール選択戦略が提示される。
我々は異常検出手法の不確実性を利用する。
論文 参考訳(メタデータ) (2022-12-23T00:50:41Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳(メタデータ) (2022-12-22T22:05:16Z) - Class Adaptive Network Calibration [19.80805957502909]
ディープネットワークの校正のためのクラス適応ラベル平滑化(CALS)を提案する。
提案手法は,制約付き最適化において確立された手法である拡張ラグランジアンアプローチに基づいて構築される。
論文 参考訳(メタデータ) (2022-11-28T06:05:31Z) - Learning Acceptance Regions for Many Classes with Anomaly Detection [19.269724165953274]
既存の集合値分類法の多くは、トレーニングデータに現れない新しいクラスがテストデータに現れる可能性を考慮していない。
テストデータに新しいクラスが存在する可能性を考慮しつつ,受入領域を推定する汎用予測セット(GPS)手法を提案する。
従来の手法とは異なり,提案手法は精度,効率,異常検出率のバランスが良好である。
論文 参考訳(メタデータ) (2022-09-20T19:40:33Z) - Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。
表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
論文 参考訳(メタデータ) (2022-06-16T11:44:11Z) - Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。
我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。
提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
論文 参考訳(メタデータ) (2022-04-07T17:58:07Z) - Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文 参考訳(メタデータ) (2020-11-16T05:17:29Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳(メタデータ) (2020-06-29T21:50:07Z) - Multi-Class Uncertainty Calibration via Mutual Information
Maximization-based Binning [8.780958735684958]
ポストホック多クラスキャリブレーションは、ディープニューラルネットワーク予測の信頼度推定を提供する一般的なアプローチである。
近年の研究では、広く使われているスケーリング手法がキャリブレーション誤差を過小評価していることが示されている。
類似クラス間で1つのキャリブレータを共有する共有クラスワイド(sCW)キャリブレーション戦略を提案する。
論文 参考訳(メタデータ) (2020-06-23T15:31:59Z) - Better Classifier Calibration for Small Data Sets [0.0]
キャリブレーションのためのデータ生成により,キャリブレーションアルゴリズムの性能が向上することを示す。
提案手法は計算コストを増大させるが、主なユースケースは小さなデータセットであるので、この余分な計算コストは重要ではない。
論文 参考訳(メタデータ) (2020-02-24T12:27:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。