論文の概要: Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting

• arxiv url: http://arxiv.org/abs/2110.03135v4
• Date: Fri, 13 Oct 2023 02:17:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 23:40:35.567472
• Title: Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting
• Title（参考訳）: 対人訓練におけるラベルノイズ:ロバストオーバーフィッティング研究の新しい視点
• Authors: Chengyu Dong, Liyuan Liu, Jingbo Shang
• Abstract要約: 逆行訓練においてラベルノイズが存在することを示す。 このようなラベルノイズは、正反対例の真のラベル分布とクリーン例から受け継いだラベルとのミスマッチに起因する。 本稿では,ラベルノイズと頑健なオーバーフィッティングに対処するため,ラベルの自動校正手法を提案する。
• 参考スコア（独自算出の注目度）: 45.58217741522973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that label noise exists in adversarial training. Such label noise is due to the mismatch between the true label distribution of adversarial examples and the label inherited from clean examples - the true label distribution is distorted by the adversarial perturbation, but is neglected by the common practice that inherits labels from clean examples. Recognizing label noise sheds insights on the prevalence of robust overfitting in adversarial training, and explains its intriguing dependence on perturbation radius and data quality. Also, our label noise perspective aligns well with our observations of the epoch-wise double descent in adversarial training. Guided by our analyses, we proposed a method to automatically calibrate the label to address the label noise and robust overfitting. Our method achieves consistent performance improvements across various models and datasets without introducing new hyper-parameters or additional tuning.
• Abstract（参考訳）: 逆行訓練においてラベルノイズが存在することを示す。 このようなラベルノイズは、正反対の例の真のラベル分布とクリーンな例から受け継いだラベルとのミスマッチによるもので、真のラベル分布は敵の摂動によって歪められるが、クリーンな例からラベルを継承する一般的な慣習によって無視される。 ラベルノイズの認識は、対向訓練における強固な過剰フィッティングの頻度に関する洞察を与え、摂動半径とデータ品質に対する興味深い依存性を説明する。 また, ラベル雑音の観点は, 対向訓練におけるepoch-wise double descentの観察とよく一致している。 そこで本研究では,ラベルノイズと頑健なオーバーフィッティングに対処するため,ラベルの自動校正手法を提案する。 提案手法は,新しいハイパーパラメータや追加チューニングを導入することなく,様々なモデルやデータセット間で一貫した性能向上を実現する。

関連論文リスト

• Learning Discriminative Dynamics with Label Corruption for Noisy Label Detection [25.55455239006278]
  トレーニング信号のダイナミクスに基づいて,誤ラベル付きインスタンスと正しくラベル付けされたインスタンスを識別するDynaCorフレームワークを提案する。 我々の総合的な実験により、DynaCorは最先端のライバルより優れており、様々なノイズタイプやノイズレートに対して強い堅牢性を示している。
  論文  参考訳（メタデータ） (2024-05-30T10:06:06Z)
• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data [70.25049762295193]
  本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。 本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。 実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T08:31:59Z)
• Label Noise-Robust Learning using a Confidence-Based Sieving Strategy [15.997774467236352]
  ラベルノイズを伴うタスクの学習では、オーバーフィッティングに対するモデルの堅牢性を改善することが重要な課題である。 サンプルをノイズのあるラベルで識別し、モデルを学習するのを防ぐことは、この課題に対処するための有望なアプローチである。 本研究では, 信頼度誤差と呼ばれる新しい判別基準と, クリーンサンプルとノイズサンプルを効果的に識別するためのCONFESと呼ばれるシービング戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-11T10:47:28Z)
• Two Wrongs Don't Make a Right: Combating Confirmation Bias in Learning with Label Noise [6.303101074386922]
  Robust Label Refurbishment (Robust LR) は、擬似ラベルと信頼度推定技術を組み込んだ新しいハイブリッド手法である。 本手法はラベルノイズと確認バイアスの両方の損傷を軽減できることを示す。 例えば、Robust LRは、実世界のノイズデータセットであるWebVisionにおいて、以前の最高値よりも最大4.5%の絶対的トップ1精度の向上を実現している。
  論文  参考訳（メタデータ） (2021-12-06T12:10:17Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis [69.48582264712854]
  本研究では,頑健な視覚的感情分析を行うための頑健な学習手法を提案する。 本手法は,トレーニング中にノイズラベルを集約・フィルタリングするために外部メモリに依存している。 公開データセットを用いたラベルノイズを用いた視覚的感情分析のベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-09-15T18:18:28Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。