論文の概要: Understanding Why Label Smoothing Degrades Selective Classification and How to Fix It
- arxiv url: http://arxiv.org/abs/2403.14715v1
- Date: Tue, 19 Mar 2024 06:46:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 21:31:40.880814
- Title: Understanding Why Label Smoothing Degrades Selective Classification and How to Fix It
- Title(参考訳): ラベルの平滑化が選択的分類を低下させる理由と修正方法
- Authors: Guoxuan Xia, Olivier Laurent, Gianni Franchi, Christos-Savvas Bouganis,
- Abstract要約: ラベル平滑化(LS)が選択的分類(SC)に悪影響を及ぼすことを示す。
LSは、エラーの確率が低い場合には最大ロジットを規則化し、エラーの確率が高い場合はより小さくすることで、過信と過信を増す。
次に,LSによる損失SCの回復に対するロジット正規化の有効性を実証した。
- 参考スコア(独自算出の注目度): 6.19039575840278
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Label smoothing (LS) is a popular regularisation method for training deep neural network classifiers due to its effectiveness in improving test accuracy and its simplicity in implementation. "Hard" one-hot labels are "smoothed" by uniformly distributing probability mass to other classes, reducing overfitting. In this work, we reveal that LS negatively affects selective classification (SC) - where the aim is to reject misclassifications using a model's predictive uncertainty. We first demonstrate empirically across a range of tasks and architectures that LS leads to a consistent degradation in SC. We then explain this by analysing logit-level gradients, showing that LS exacerbates overconfidence and underconfidence by regularising the max logit more when the probability of error is low, and less when the probability of error is high. This elucidates previously reported experimental results where strong classifiers underperform in SC. We then demonstrate the empirical effectiveness of logit normalisation for recovering lost SC performance caused by LS. Furthermore, based on our gradient analysis, we explain why such normalisation is effective. We will release our code shortly.
- Abstract(参考訳): ラベルスムーシング(LS)は、テスト精度の向上と実装の単純さにより、ディープニューラルネットワーク分類器をトレーニングするための一般的な正規化手法である。
ハード」ワンホットラベルは、確率質量を他のクラスに均一に分散し、オーバーフィッティングを減らすことで「平滑化」される。
本研究では,LSが選択分類(SC)に悪影響を及ぼすことを明らかにする。
まず、LSがSCに一貫した劣化をもたらす様々なタスクやアーキテクチャを経験的に実証する。
次に、ロジトレベルの勾配を解析することにより、LSはエラーの確率が低い場合には最大ロジトをより規則化し、エラーの確率が高い場合はより小さくすることで、過信と過信を悪化させることを示す。
この結果より, SCでは強い分類器が不十分であったことが示唆された。
次に,LSによる損失SCの回復に対するロジット正規化の有効性を実証した。
さらに、勾配解析に基づいて、なぜそのような正規化が有効かを説明する。
近いうちにコードを公開します。
関連論文リスト
- Selective Classification Under Distribution Shifts [2.6541808384534478]
選別分類において、分類器は過度なエラーを避けるために誤りとなる可能性のある予測を棄却する。
本稿では,分散シフトを考慮したSCフレームワークを提案する。
提案したスコア関数は、一般化されたSCのための既存のスコア関数よりも効果的で信頼性が高いことを示す。
論文 参考訳(メタデータ) (2024-05-08T15:52:50Z) - Do not trust what you trust: Miscalibration in Semi-supervised Learning [21.20806568508201]
最先端の半教師付き学習(SSL)アプローチは、ラベルなしサンプルのトレーニングをガイドする擬似ラベルとして機能するために、信頼性の高い予測に依存している。
擬似ラベルに基づくSSL方式は, かなり誤解されていることを示し, ミンエントロピーの最小化を正式に示す。
我々は単純なペナルティ項を統合し、ラベルのないサンプルの予測のロジットを低く保ち、ネットワーク予測が過信にならないようにする。
論文 参考訳(メタデータ) (2024-03-22T18:43:46Z) - SSB: Simple but Strong Baseline for Boosting Performance of Open-Set
Semi-Supervised Learning [106.46648817126984]
本稿では,挑戦的で現実的なオープンセットSSL設定について検討する。
目標は、inlierを正しく分類し、outlierを検知することである。
信頼度の高い疑似ラベル付きデータを組み込むことで、不整合分類性能を大幅に改善できることが判明した。
論文 参考訳(メタデータ) (2023-11-17T15:14:40Z) - Model Calibration in Dense Classification with Adaptive Label
Perturbation [44.62722402349157]
既存の密接な二分分類モデルは、過信される傾向がある。
本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。
ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
論文 参考訳(メタデータ) (2023-07-25T14:40:11Z) - On Non-Random Missing Labels in Semi-Supervised Learning [114.62655062520425]
Semi-Supervised Learning (SSL)は基本的にラベルの問題である。
SSL に "class" を明示的に組み込んでいます。
提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
論文 参考訳(メタデータ) (2022-06-29T22:01:29Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳(メタデータ) (2021-10-22T01:55:01Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-15T23:29:57Z) - Re-Assessing the "Classify and Count" Quantification Method [88.60021378715636]
分類とカウント(CC)は、しばしば偏りのある推定器である。
以前の作業では、CCの適切に最適化されたバージョンを適切に使用できなかった。
最先端の手法に劣っているものの、ほぼ最先端の精度を実現している、と我々は主張する。
論文 参考訳(メタデータ) (2020-11-04T21:47:39Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-05T04:19:37Z) - Regularization via Structural Label Smoothing [22.74769739125912]
正規化は機械学習モデルの一般化性能を促進する効果的な方法である。
本稿では,ニューラルネットワークの過度な適合を防止するための出力分布正規化の一形態であるラベル平滑化に着目した。
このようなラベルの平滑化はトレーニングデータのベイズ誤り率に定量的なバイアスを与えることを示す。
論文 参考訳(メタデータ) (2020-01-07T05:45:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。