論文の概要: Improving selective classification performance of deep neural networks
through post-hoc logit normalization and temperature scaling
- arxiv url: http://arxiv.org/abs/2305.15508v1
- Date: Wed, 24 May 2023 18:56:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 19:01:30.570328
- Title: Improving selective classification performance of deep neural networks
through post-hoc logit normalization and temperature scaling
- Title(参考訳): ポストホックロジット正規化と温度スケーリングによるディープニューラルネットワークの選択的分類性能の向上
- Authors: Lu\'is Felipe P. Cattelan and Danilo Silva
- Abstract要約: 本稿では,ディープニューラルネットワークの選択的分類の問題に対処する。
p$-NormSoftmaxという簡易で効率的なポストホック信頼度推定器を提案する。
本手法は, リスク被覆曲線下での平均16%の改善率を示す。
- 参考スコア(独自算出の注目度): 6.78463407916662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the problem of selective classification for deep neural
networks, where a model is allowed to abstain from low-confidence predictions
to avoid potential errors. Specifically, we tackle the problem of optimizing
the confidence estimator of a fixed classifier, aiming to enhance its
misclassification detection performance, i.e., its ability to discriminate
between correct and incorrect predictions by assigning higher confidence values
to the correct ones. Previous work has found that different classifiers exhibit
varying levels of misclassification detection performance, particularly when
using the maximum softmax probability (MSP) as a measure of confidence.
However, we argue that these findings are mainly due to a sub-optimal
confidence estimator being used for each model. To overcome this issue, we
propose a simple and efficient post-hoc confidence estimator, named
$p$-NormSoftmax, which consists of transforming the logits through $p$-norm
normalization and temperature scaling, followed by taking the MSP, where $p$
and the temperature are optimized based on a hold-out set. This estimator can
be easily applied on top of an already trained model and, in many cases, can
significantly improve its selective classification performance. When applied to
84 pretrained Imagenet classifiers, our method yields an average improvement of
16% in the area under the risk-coverage curve (AURC), exceeding 40% for some
models. Furthermore, after applying $p$-NormSoftmax, we observe that these
models exhibit approximately the same level of misclassification detection
performance, implying that a model's selective classification performance is
almost entirely determined by its accuracy at full coverage.
- Abstract(参考訳): 本稿では,モデルが低信頼予測を回避し,潜在的な誤りを回避できる深層ニューラルネットワークの選択的分類問題に対処する。
具体的には、固定分類器の信頼度推定器の最適化に取り組み、その誤分類検出性能の向上、すなわち、高い信頼値を正しいものに割り当てることで、正しい予測と誤予測を区別する能力を実現する。
従来の研究では、特に最大ソフトマックス確率(MSP)を信頼度尺度として用いた場合、異なる分類器が様々な誤分類検出性能を示すことがわかった。
しかし,これらの結果は主に,各モデルに準最適信頼度推定器が用いられているためである。
この問題を克服するため,本研究では,ロジットを$p$-norm正規化と温度スケーリングによって変換し,続いてMSPを用いて,$p$と温度をホールドアウトセットに基づいて最適化する,シンプルで効率的なポストホック信頼度推定器($p$-NormSoftmax)を提案する。
この推定器は、既に訓練されたモデル上で容易に適用でき、多くの場合、選択的分類性能を大幅に改善することができる。
84の事前トレーニング済みイメージネット分類器に適用した場合、リスク被覆曲線(AURC)の下での領域の平均16%の改善率は、いくつかのモデルで40%以上となる。
さらに、$p$-normsoftmaxを適用した後、これらのモデルがほぼ同じレベルの誤分類検出性能を示し、モデルの選択的分類性能が完全なカバレッジでほぼ完全に決定されることを示した。
関連論文リスト
- Fixed Random Classifier Rearrangement for Continual Learning [0.5439020425819]
視覚分類のシナリオでは、ニューラルネットワークは新しいタスクを学習した後、必然的に古いタスクの知識を忘れる。
我々はFixed Random Rearrangement (FRCR)という連続学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-23T09:43:58Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳(メタデータ) (2023-07-06T04:13:57Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - On double-descent in uncertainty quantification in overparametrized
models [24.073221004661427]
不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。
最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。
これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
論文 参考訳(メタデータ) (2022-10-23T16:01:08Z) - BayesNetCNN: incorporating uncertainty in neural networks for
image-based classification tasks [0.29005223064604074]
本稿では,標準的なニューラルネットワークをベイズニューラルネットワークに変換する手法を提案する。
本研究では,各前方パスにおいて,元のものと類似した異なるネットワークをサンプリングすることにより,予測のばらつきを推定する。
我々は、アルツハイマー病患者の脳画像の大きなコホートを用いて、我々のモデルを検証した。
論文 参考訳(メタデータ) (2022-09-27T01:07:19Z) - Calibrated Selective Classification [38.01669058597009]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳(メタデータ) (2022-08-25T13:31:09Z) - SmoothMix: Training Confidence-calibrated Smoothed Classifiers for
Certified Robustness [61.212486108346695]
自己混合によるスムーズな分類器のロバスト性を制御するためのトレーニングスキームSmoothMixを提案する。
提案手法は, 厳密性に制限された原因として, 信頼性の低い, オフクラスに近いサンプルを効果的に同定する。
提案手法はスムーズな分類器の検証値である$ell$-robustnessを大幅に改善できることを示す。
論文 参考訳(メタデータ) (2021-11-17T18:20:59Z) - Certifying Confidence via Randomized Smoothing [151.67113334248464]
ランダムな平滑化は、高次元の分類問題に対して良好な証明されたロバスト性を保証することが示されている。
ほとんどの平滑化法は、下層の分類器が予測する信頼性に関する情報を与えてくれない。
そこで本研究では,スムーズな分類器の予測信頼度を評価するために,認証ラジイを生成する手法を提案する。
論文 参考訳(メタデータ) (2020-09-17T04:37:26Z) - Revisiting One-vs-All Classifiers for Predictive Uncertainty and
Out-of-Distribution Detection in Neural Networks [22.34227625637843]
識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。
画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
論文 参考訳(メタデータ) (2020-07-10T01:55:02Z) - Consistency Regularization for Certified Robustness of Smoothed
Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。
その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文 参考訳(メタデータ) (2020-06-07T06:57:43Z) - Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。
実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。
本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
論文 参考訳(メタデータ) (2020-01-29T00:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。