論文の概要: Improving selective classification performance of deep neural networks
through post-hoc logit normalization and temperature scaling
- arxiv url: http://arxiv.org/abs/2305.15508v1
- Date: Wed, 24 May 2023 18:56:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 19:01:30.570328
- Title: Improving selective classification performance of deep neural networks
through post-hoc logit normalization and temperature scaling
- Title（参考訳）: ポストホックロジット正規化と温度スケーリングによるディープニューラルネットワークの選択的分類性能の向上
- Authors: Lu\'is Felipe P. Cattelan and Danilo Silva
- Abstract要約: 本稿では,ディープニューラルネットワークの選択的分類の問題に対処する。
p$-NormSoftmaxという簡易で効率的なポストホック信頼度推定器を提案する。
本手法は, リスク被覆曲線下での平均16%の改善率を示す。
- 参考スコア（独自算出の注目度）: 6.78463407916662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the problem of selective classification for deep neural
networks, where a model is allowed to abstain from low-confidence predictions
to avoid potential errors. Specifically, we tackle the problem of optimizing
the confidence estimator of a fixed classifier, aiming to enhance its
misclassification detection performance, i.e., its ability to discriminate
between correct and incorrect predictions by assigning higher confidence values
to the correct ones. Previous work has found that different classifiers exhibit
varying levels of misclassification detection performance, particularly when
using the maximum softmax probability (MSP) as a measure of confidence.
However, we argue that these findings are mainly due to a sub-optimal
confidence estimator being used for each model. To overcome this issue, we
propose a simple and efficient post-hoc confidence estimator, named
$p$-NormSoftmax, which consists of transforming the logits through $p$-norm
normalization and temperature scaling, followed by taking the MSP, where $p$
and the temperature are optimized based on a hold-out set. This estimator can
be easily applied on top of an already trained model and, in many cases, can
significantly improve its selective classification performance. When applied to
84 pretrained Imagenet classifiers, our method yields an average improvement of
16% in the area under the risk-coverage curve (AURC), exceeding 40% for some
models. Furthermore, after applying $p$-NormSoftmax, we observe that these
models exhibit approximately the same level of misclassification detection
performance, implying that a model's selective classification performance is
almost entirely determined by its accuracy at full coverage.
- Abstract（参考訳）: 本稿では,モデルが低信頼予測を回避し,潜在的な誤りを回避できる深層ニューラルネットワークの選択的分類問題に対処する。
具体的には、固定分類器の信頼度推定器の最適化に取り組み、その誤分類検出性能の向上、すなわち、高い信頼値を正しいものに割り当てることで、正しい予測と誤予測を区別する能力を実現する。
従来の研究では、特に最大ソフトマックス確率(MSP)を信頼度尺度として用いた場合、異なる分類器が様々な誤分類検出性能を示すことがわかった。
しかし,これらの結果は主に,各モデルに準最適信頼度推定器が用いられているためである。
この問題を克服するため,本研究では,ロジットを$p$-norm正規化と温度スケーリングによって変換し,続いてMSPを用いて,$p$と温度をホールドアウトセットに基づいて最適化する,シンプルで効率的なポストホック信頼度推定器($p$-NormSoftmax)を提案する。
この推定器は、既に訓練されたモデル上で容易に適用でき、多くの場合、選択的分類性能を大幅に改善することができる。
84の事前トレーニング済みイメージネット分類器に適用した場合、リスク被覆曲線(AURC)の下での領域の平均16%の改善率は、いくつかのモデルで40%以上となる。
さらに、$p$-normsoftmaxを適用した後、これらのモデルがほぼ同じレベルの誤分類検出性能を示し、モデルの選択的分類性能が完全なカバレッジでほぼ完全に決定されることを示した。
関連論文リスト
- Fixed Random Classifier Rearrangement for Continual Learning [0.5439020425819]
視覚分類のシナリオでは、ニューラルネットワークは新しいタスクを学習した後、必然的に古いタスクの知識を忘れる。
我々はFixed Random Rearrangement (FRCR)という連続学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-23T09:43:58Z) - The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。
入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。
新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
論文 参考訳（メタデータ） (2023-09-28T22:41:47Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - Is the Performance of My Deep Network Too Good to Be True? A Direct
Approach to Estimating the Bayes Error in Binary Classification [86.32752788233913]
分類問題において、ベイズ誤差は、最先端の性能を持つ分類器を評価するための基準として用いられる。
我々はベイズ誤差推定器を提案する。そこでは,クラスの不確かさを示すラベルの平均値のみを評価できる。
我々の柔軟なアプローチは、弱い教師付きデータであってもベイズ誤差を推定できる。
論文 参考訳（メタデータ） (2022-02-01T13:22:26Z) - Predicting Classification Accuracy When Adding New Unobserved Classes [8.325327265120283]
そこで本研究では,より大規模で未観測のクラスに対して,期待する精度を推定するために,分類器の性能をどのように利用することができるかを検討する。
ニューラルネットワークに基づく頑健なアルゴリズム "CleaneX" を定式化し,任意のサイズのクラスに対して,そのような分類器の精度を推定する。
論文 参考訳（メタデータ） (2020-10-28T14:37:25Z) - Detecting Misclassification Errors in Neural Networks with a Gaussian
Process Model [20.948038514886377]
本稿では,誤分類誤りを検出するための定量的な尺度を新たに作成する枠組みを提案する。
このフレームワークREDは、ベース分類器の上にエラー検出器を構築し、ガウス過程を用いて検出スコアの不確かさを推定する。
論文 参考訳（メタデータ） (2020-10-05T15:01:30Z) - Certifying Confidence via Randomized Smoothing [151.67113334248464]
ランダムな平滑化は、高次元の分類問題に対して良好な証明されたロバスト性を保証することが示されている。
ほとんどの平滑化法は、下層の分類器が予測する信頼性に関する情報を与えてくれない。
そこで本研究では,スムーズな分類器の予測信頼度を評価するために,認証ラジイを生成する手法を提案する。
論文 参考訳（メタデータ） (2020-09-17T04:37:26Z) - Revisiting One-vs-All Classifiers for Predictive Uncertainty and
Out-of-Distribution Detection in Neural Networks [22.34227625637843]
識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。
画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
論文 参考訳（メタデータ） (2020-07-10T01:55:02Z) - Consistency Regularization for Certified Robustness of Smoothed
Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。
その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文 参考訳（メタデータ） (2020-06-07T06:57:43Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。