論文の概要: How to fix a broken confidence estimator: Evaluating post-hoc methods
for selective classification with deep neural networks
- arxiv url: http://arxiv.org/abs/2305.15508v2
- Date: Wed, 4 Oct 2023 14:42:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 22:01:09.477330
- Title: How to fix a broken confidence estimator: Evaluating post-hoc methods
for selective classification with deep neural networks
- Title（参考訳）: 故障信頼度推定器の修正法:ディープニューラルネットワークを用いた選択的分類のためのポストホック法の評価
- Authors: Lu\'is Felipe P. Cattelan and Danilo Silva
- Abstract要約: 本稿では,ディープニューラルネットワークの選択的分類の問題に対処する。
我々は、ある分類器の信頼度を再訓練や修正なしに置き換えるいわゆるポストホック手法に焦点をあてる。
ソフトマックス出力を持つニューラルネットワークを考えると、我々のゴールは、正規化されていないロジットから直接計算できる最高の信頼度推定器を特定することである。
- 参考スコア（独自算出の注目度）: 1.7132914341329848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the problem of selective classification for deep neural
networks, where a model is allowed to abstain from low-confidence predictions
to avoid potential errors. We focus on so-called post-hoc methods, which
replace the confidence estimator of a given classifier without retraining or
modifying it, thus being practically appealing. Considering neural networks
with softmax outputs, our goal is to identify the best confidence estimator
that can be computed directly from the unnormalized logits. This problem is
motivated by the intriguing observation in recent work that many classifiers
appear to have a "broken" confidence estimator, in the sense that their
selective classification performance is much worse than what could be expected
by their corresponding accuracies. We perform an extensive experimental study
of many existing and proposed confidence estimators applied to 84 pretrained
ImageNet classifiers available from popular repositories. Our results show that
a simple $p$-norm normalization of the logits, followed by taking the maximum
logit as the confidence estimator, can lead to considerable gains in selective
classification performance, completely fixing the pathological behavior
observed in many classifiers. As a consequence, the selective classification
performance of any classifier becomes almost entirely determined by its
corresponding accuracy. Moreover, these results are shown to be consistent
under distribution shift. We also investigate why certain classifiers innately
have a good confidence estimator that apparently cannot be improved by post-hoc
methods.
- Abstract（参考訳）: 本稿では,モデルが低信頼予測を回避し,潜在的な誤りを回避できる深層ニューラルネットワークの選択的分類問題に対処する。
我々は,分類器の信頼度を再訓練や修正なしに置き換える,いわゆるポストホック手法に着目し,実質的に魅力的である。
ソフトマックス出力を持つニューラルネットワークを考えると、我々の目標は、非正規化されたロジットから直接計算できる最高の信頼度推定器を特定することである。
この問題は、最近の研究における興味深い観察によって、多くの分類器は、その選択的な分類性能が、対応するアキュラティシーによって予測されるよりもずっと悪いという意味で、"老朽化した"信頼度推定器を持っているように見えることに動機づけられている。
我々は,84の事前学習済みイメージネット分類器に適用された,既存および提案された信頼度推定器の広範な実験を行った。
以上の結果から,ロジットの単純な$p$ノルム正規化と最大ロジットを信頼度推定器として用いることにより,選択的分類性能が大幅に向上し,多くの分類器で観察される病的挙動を完全に改善できることが示された。
その結果、任意の分類器の選択的分類性能はその対応する精度でほぼ完全に決定される。
また,これらの結果は分布シフト下で一貫性があることが示されている。
また,ポストホック法では改善できないと思われる信頼度推定器を自然に有する分類器について検討した。
関連論文リスト
- Fixed Random Classifier Rearrangement for Continual Learning [0.5439020425819]
視覚分類のシナリオでは、ニューラルネットワークは新しいタスクを学習した後、必然的に古いタスクの知識を忘れる。
我々はFixed Random Rearrangement (FRCR)という連続学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-23T09:43:58Z) - The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。
入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。
新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
論文 参考訳（メタデータ） (2023-09-28T22:41:47Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - Is the Performance of My Deep Network Too Good to Be True? A Direct
Approach to Estimating the Bayes Error in Binary Classification [86.32752788233913]
分類問題において、ベイズ誤差は、最先端の性能を持つ分類器を評価するための基準として用いられる。
我々はベイズ誤差推定器を提案する。そこでは,クラスの不確かさを示すラベルの平均値のみを評価できる。
我々の柔軟なアプローチは、弱い教師付きデータであってもベイズ誤差を推定できる。
論文 参考訳（メタデータ） (2022-02-01T13:22:26Z) - Predicting Classification Accuracy When Adding New Unobserved Classes [8.325327265120283]
そこで本研究では,より大規模で未観測のクラスに対して,期待する精度を推定するために,分類器の性能をどのように利用することができるかを検討する。
ニューラルネットワークに基づく頑健なアルゴリズム "CleaneX" を定式化し,任意のサイズのクラスに対して,そのような分類器の精度を推定する。
論文 参考訳（メタデータ） (2020-10-28T14:37:25Z) - Detecting Misclassification Errors in Neural Networks with a Gaussian
Process Model [20.948038514886377]
本稿では,誤分類誤りを検出するための定量的な尺度を新たに作成する枠組みを提案する。
このフレームワークREDは、ベース分類器の上にエラー検出器を構築し、ガウス過程を用いて検出スコアの不確かさを推定する。
論文 参考訳（メタデータ） (2020-10-05T15:01:30Z) - Certifying Confidence via Randomized Smoothing [151.67113334248464]
ランダムな平滑化は、高次元の分類問題に対して良好な証明されたロバスト性を保証することが示されている。
ほとんどの平滑化法は、下層の分類器が予測する信頼性に関する情報を与えてくれない。
そこで本研究では,スムーズな分類器の予測信頼度を評価するために,認証ラジイを生成する手法を提案する。
論文 参考訳（メタデータ） (2020-09-17T04:37:26Z) - Revisiting One-vs-All Classifiers for Predictive Uncertainty and
Out-of-Distribution Detection in Neural Networks [22.34227625637843]
識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。
画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
論文 参考訳（メタデータ） (2020-07-10T01:55:02Z) - Consistency Regularization for Certified Robustness of Smoothed
Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。
その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文 参考訳（メタデータ） (2020-06-07T06:57:43Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。