論文の概要: ALASCA: Rethinking Label Smoothing for Deep Learning Under Label Noise
- arxiv url: http://arxiv.org/abs/2206.07277v1
- Date: Wed, 15 Jun 2022 03:37:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-17 07:01:44.754141
- Title: ALASCA: Rethinking Label Smoothing for Deep Learning Under Label Noise
- Title(参考訳): ALASCA:ラベルノイズ下でのディープラーニングのためのラベルの平滑化再考
- Authors: Jongwoo Ko, Bongsoo Yi, Se-Young Yun
- Abstract要約: サブCl-アシファイア(ALASCA)上でのアダプティブラーベル平滑化(Adaptive LAbel smoothing)という枠組みを提案する。
ラベル平滑化(LS)は暗黙のリプシッツ正則化(LR)を引き起こすことが示唆された。
これらの導出に基づいて、中間層に適応LRを実用的に適用するために、適応LS(ALS)をサブクラス化アーキテクチャに適用する。
- 参考スコア(独自算出の注目度): 10.441880303257468
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As label noise, one of the most popular distribution shifts, severely
degrades deep neural networks' generalization performance, robust training with
noisy labels is becoming an important task in modern deep learning. In this
paper, we propose our framework, coined as Adaptive LAbel smoothing on
Sub-ClAssifier (ALASCA), that provides a robust feature extractor with
theoretical guarantee and negligible additional computation. First, we derive
that the label smoothing (LS) incurs implicit Lipschitz regularization (LR).
Furthermore, based on these derivations, we apply the adaptive LS (ALS) on
sub-classifiers architectures for the practical application of adaptive LR on
intermediate layers. We conduct extensive experiments for ALASCA and combine it
with previous noise-robust methods on several datasets and show our framework
consistently outperforms corresponding baselines.
- Abstract(参考訳): ラベルノイズは、ディープニューラルネットワークの一般化性能を著しく低下させる最も一般的な分布シフトの1つであり、ノイズラベルによる堅牢なトレーニングは、現代のディープラーニングにおいて重要なタスクとなっている。
本稿では,アダプティブラベル平滑化(adaptive label smoothing on sub-classifier,alasca)というフレームワークを提案する。
まず,ラベルの平滑化 (LS) は暗黙のリプシッツ正則化 (LR) を引き起こす。
さらに、これらの導出に基づいて、中間層に適応LRを実用的に適用するためのサブクラス化アーキテクチャに適応LS(ALS)を適用する。
我々は、ALASCAの広範な実験を行い、いくつかのデータセット上で従来のノイズロスト手法と組み合わせ、我々のフレームワークが対応するベースラインを一貫して上回ることを示す。
関連論文リスト
- Understanding Noise-Augmented Training for Randomized Smoothing [14.061680807550722]
ランダムスムーシング(Randomized smoothing)は、敵攻撃に対する証明可能な堅牢性を保証する技術である。
より強い分布仮定を作らずに、雑音増強の訓練を受けた予測者から利益を期待できないことを示す。
本分析は, ランダム化平滑化の実践的展開に直接的な意味を持つ。
論文 参考訳(メタデータ) (2023-05-08T14:46:34Z) - Fine-Grained Classification with Noisy Labels [31.128588235268126]
雑音ラベル(LNL)を用いた学習は,ラベルが破損したトレーニングセットからモデル一般化を保証することを目的としている。
粒度データセット(LNL-FG)におけるLNLの滅多に研究されていないシナリオについて検討する。
本稿では,識別可能な表現を奨励することによってラベルノイズに直面する雑音耐性教師付きコントラスト学習(SNSCL)という新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-04T12:32:45Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳(メタデータ) (2023-02-19T15:24:37Z) - On Robust Learning from Noisy Labels: A Permutation Layer Approach [53.798757734297986]
本稿では、深層ニューラルネットワーク(DNN)のトレーニング過程を動的に校正するPermLLと呼ばれる置換層学習手法を提案する。
本稿では,PermLLの2つの変種について述べる。一方はモデルの予測に置換層を適用し,他方は与えられた雑音ラベルに直接適用する。
我々はPermLLを実験的に検証し、実際のデータセットと合成データセットの両方で最先端のパフォーマンスを実現することを示す。
論文 参考訳(メタデータ) (2022-11-29T03:01:48Z) - Complementary Labels Learning with Augmented Classes [22.460256396941528]
補完ラベル学習 (Complementary Labels Learning, CLL) は、プライベート質問分類やオンライン学習など、現実世界の多くのタスクに現れる。
CLLAC(Complementary Labels Learning with Augmented Classs)と呼ばれる新しい問題設定を提案する。
ラベルのないデータを用いて,CLLACの分類リスクの偏りのない推定手法を提案する。
論文 参考訳(メタデータ) (2022-11-19T13:55:27Z) - Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。
提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
論文 参考訳(メタデータ) (2022-03-04T12:18:23Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳(メタデータ) (2021-10-22T01:55:01Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳(メタデータ) (2021-08-12T09:14:44Z) - Weakly Supervised Label Smoothing [15.05158252504978]
L2Rモデルに分類するニューラルラーニングの文脈において,広く使用されている正規化手法であるラベルスムージング(LS)について検討する。
ニューラルL2Rモデルの文脈におけるLSの研究に触発され、Weakly Supervised Label Smoothing(WSLS)と呼ばれる新しい技術を提案する。
論文 参考訳(メタデータ) (2020-12-15T19:36:52Z) - Delving Deep into Label Smoothing [112.24527926373084]
ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化
対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
論文 参考訳(メタデータ) (2020-11-25T08:03:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。