論文の概要: Calibrating sufficiently
- arxiv url: http://arxiv.org/abs/2105.07283v1
- Date: Sat, 15 May 2021 19:48:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-18 14:58:03.623476
- Title: Calibrating sufficiently
- Title(参考訳): 十分な校正
- Authors: Dirk Tasche
- Abstract要約: グルーピング損失とは、キャリブレーション演習で実際に利用された可観測情報と情報のギャップを指します。
グループ化損失とsufficiencyの概念との関係について検討し,sufficiencyの有用な基準としてコモノトニック性を特定する。
- 参考スコア(独自算出の注目度): 2.1320960069210475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When probabilistic classifiers are trained and calibrated, the so-called
grouping loss component of the calibration loss can easily be overlooked.
Grouping loss refers to the gap between observable information and information
actually exploited in the calibration exercise. We investigate the relation
between grouping loss and the concept of sufficiency, identifying
comonotonicity as a useful criterion for sufficiency. We revisit the probing
reduction approach of Langford & Zadrozny (2005) and find that it produces an
estimator of probabilistic classifiers that reduces information loss. Finally,
we discuss Brier curves as tools to support training and `sufficient'
calibration of probabilistic classifiers.
- Abstract(参考訳): 確率的分類器を訓練して校正する場合、キャリブレーション損失のいわゆるグループ損失成分を容易に見逃すことができる。
グルーピングロス(grouping loss)とは、観測可能な情報と実際に校正訓練で活用された情報との間のギャップを指す。
グループ化損失とsufficiencyの概念との関係について検討し,sufficiencyの有用な基準としてコモノトニック性を特定する。
langford & zadrozny (2005) の探索還元アプローチを再検討し、情報損失を減らす確率的分類器の推定子を生成することを発見した。
最後に,確率的分類器の'sufficient'キャリブレーションを支援するツールとして,ブライア曲線について論じる。
関連論文リスト
- Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳(メタデータ) (2023-10-31T06:19:40Z) - Scaling of Class-wise Training Losses for Post-hoc Calibration [6.0632746602205865]
そこで本研究では,クラスレベルの学習損失を同期させるキャリブレーション手法を提案する。
複数のクラスワイドスケーリング因子を用いて、クラスワイドトレーニング損失の分散を軽減するために、新しいトレーニング損失を設計する。
種々のポストホックキャリブレーション手法を用いて,提案手法の有効性を検証した。
論文 参考訳(メタデータ) (2023-06-19T14:59:37Z) - Beyond calibration: estimating the grouping loss of modern neural
networks [68.8204255655161]
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
論文 参考訳(メタデータ) (2022-10-28T07:04:20Z) - Shift Happens: Adjusting Classifiers [2.8682942808330703]
ブレアスコアやログロス(クロスエントロピー)のような適切なスコアリングルールによって測定される期待損失を最小限に抑えることは、確率的分類器を訓練する際の共通の目的である。
本稿では,全ての予測を平均予測とクラス分布に等化させる手法を提案する。
実際に、クラス分布が概ね知られている場合、シフトの量やクラス分布が知られている精度に応じて、損失が減少することがしばしばあることを実験によって実証した。
論文 参考訳(メタデータ) (2021-11-03T21:27:27Z) - Lower-bounded proper losses for weakly supervised classification [73.974163801142]
本稿では,弱いラベルが与えられた分類の弱い教師付き学習の問題について議論する。
サベージ表現を双対化する教師付き学習における適切な損失を表す表現定理を導出する。
提案手法の有効性を,不適切な損失や非有界損失と比較して実験的に実証した。
論文 参考訳(メタデータ) (2021-03-04T08:47:07Z) - Label-Imbalanced and Group-Sensitive Classification under
Overparameterization [32.923780772605596]
ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。
標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。
本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
論文 参考訳(メタデータ) (2021-03-02T08:09:43Z) - On Focal Loss for Class-Posterior Probability Estimation: A Theoretical
Perspective [83.19406301934245]
まず、焦点損失が分類校正されたこと、すなわち、最小化器がベイズ最適分類器を確実に得ることを証明する。
すると、焦点損失が厳密には適切でないことを証明し、すなわち、分類器の信頼性スコアが真のクラス後確率と一致しない。
提案手法は,クラス後確率推定の精度を大幅に向上させる。
論文 参考訳(メタデータ) (2020-11-18T09:36:52Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳(メタデータ) (2020-06-29T21:50:07Z) - Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。
また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
論文 参考訳(メタデータ) (2020-05-28T02:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。