論文の概要: How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods
for Selective Classification with Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2305.15508v3
- Date: Thu, 15 Feb 2024 17:56:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-17 00:14:46.557831
- Title: How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods
for Selective Classification with Deep Neural Networks
- Title(参考訳): 故障信頼度推定器の修正法:ディープニューラルネットワークを用いた選択的分類のためのポストホック法の評価
- Authors: Lu\'is Felipe P. Cattelan and Danilo Silva
- Abstract要約: 我々は、ある分類器の信頼度を修正・再訓練することなく置き換えるいわゆるポストホック手法に焦点を当てる。
ソフトマックス出力を持つニューラルネットワークを考えると、我々のゴールは、正規化されていないロジットから直接計算できる最高の信頼度推定器を特定することである。
以上の結果から,ロジットの正規化を簡単な$p$-normで行うと,最大ロジットを信頼度推定器として利用することで,選択的分類性能が著しく向上する可能性が示唆された。
- 参考スコア(独自算出の注目度): 1.7132914341329848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the problem of selective classification for deep neural
networks, where a model is allowed to abstain from low-confidence predictions
to avoid potential errors. We focus on so-called post-hoc methods, which
replace the confidence estimator of a given classifier without modifying or
retraining it, thus being practically appealing. Considering neural networks
with softmax outputs, our goal is to identify the best confidence estimator
that can be computed directly from the unnormalized logits. This problem is
motivated by the intriguing observation in recent work that many classifiers
appear to have a "broken" confidence estimator, in the sense that their
selective classification performance is much worse than what could be expected
by their corresponding accuracies. We perform an extensive experimental study
of many existing and proposed confidence estimators applied to 84 pretrained
ImageNet classifiers available from popular repositories. Our results show that
a simple $p$-norm normalization of the logits, followed by taking the maximum
logit as the confidence estimator, can lead to considerable gains in selective
classification performance, completely fixing the pathological behavior
observed in many classifiers. As a consequence, the selective classification
performance of any classifier becomes almost entirely determined by its
corresponding accuracy. Moreover, these results are shown to be consistent
under distribution shift.
- Abstract(参考訳): 本稿では,モデルが低信頼予測を回避し,潜在的な誤りを回避できる深層ニューラルネットワークの選択的分類問題に対処する。
これは、特定の分類器の信頼度推定器を変更または再訓練することなく置き換えるものであり、事実上魅力的である。
ソフトマックス出力を持つニューラルネットワークを考えると、我々の目標は、非正規化されたロジットから直接計算できる最高の信頼度推定器を特定することである。
この問題は、最近の研究における興味深い観察によって、多くの分類器は、その選択的な分類性能が、対応するアキュラティシーによって予測されるよりもずっと悪いという意味で、"老朽化した"信頼度推定器を持っているように見えることに動機づけられている。
我々は,84の事前学習済みイメージネット分類器に適用された,既存および提案された信頼度推定器の広範な実験を行った。
以上の結果から,ロジットの単純な$p$ノルム正規化と最大ロジットを信頼度推定器として用いることにより,選択的分類性能が大幅に向上し,多くの分類器で観察される病的挙動を完全に改善できることが示された。
その結果、任意の分類器の選択的分類性能はその対応する精度でほぼ完全に決定される。
また,これらの結果は分布シフト下で一貫性があることが示されている。
関連論文リスト
- Fixed Random Classifier Rearrangement for Continual Learning [0.5439020425819]
視覚分類のシナリオでは、ニューラルネットワークは新しいタスクを学習した後、必然的に古いタスクの知識を忘れる。
我々はFixed Random Rearrangement (FRCR)という連続学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-23T09:43:58Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳(メタデータ) (2023-07-06T04:13:57Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - On double-descent in uncertainty quantification in overparametrized
models [24.073221004661427]
不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。
最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。
これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
論文 参考訳(メタデータ) (2022-10-23T16:01:08Z) - BayesNetCNN: incorporating uncertainty in neural networks for
image-based classification tasks [0.29005223064604074]
本稿では,標準的なニューラルネットワークをベイズニューラルネットワークに変換する手法を提案する。
本研究では,各前方パスにおいて,元のものと類似した異なるネットワークをサンプリングすることにより,予測のばらつきを推定する。
我々は、アルツハイマー病患者の脳画像の大きなコホートを用いて、我々のモデルを検証した。
論文 参考訳(メタデータ) (2022-09-27T01:07:19Z) - Calibrated Selective Classification [38.01669058597009]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳(メタデータ) (2022-08-25T13:31:09Z) - SmoothMix: Training Confidence-calibrated Smoothed Classifiers for
Certified Robustness [61.212486108346695]
自己混合によるスムーズな分類器のロバスト性を制御するためのトレーニングスキームSmoothMixを提案する。
提案手法は, 厳密性に制限された原因として, 信頼性の低い, オフクラスに近いサンプルを効果的に同定する。
提案手法はスムーズな分類器の検証値である$ell$-robustnessを大幅に改善できることを示す。
論文 参考訳(メタデータ) (2021-11-17T18:20:59Z) - Certifying Confidence via Randomized Smoothing [151.67113334248464]
ランダムな平滑化は、高次元の分類問題に対して良好な証明されたロバスト性を保証することが示されている。
ほとんどの平滑化法は、下層の分類器が予測する信頼性に関する情報を与えてくれない。
そこで本研究では,スムーズな分類器の予測信頼度を評価するために,認証ラジイを生成する手法を提案する。
論文 参考訳(メタデータ) (2020-09-17T04:37:26Z) - Revisiting One-vs-All Classifiers for Predictive Uncertainty and
Out-of-Distribution Detection in Neural Networks [22.34227625637843]
識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。
画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
論文 参考訳(メタデータ) (2020-07-10T01:55:02Z) - Consistency Regularization for Certified Robustness of Smoothed
Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。
その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文 参考訳(メタデータ) (2020-06-07T06:57:43Z) - Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。
実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。
本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
論文 参考訳(メタデータ) (2020-01-29T00:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。