論文の概要: Noise Augmentation Is All You Need For FGSM Fast Adversarial Training: Catastrophic Overfitting And Robust Overfitting Require Different Augmentation

• arxiv url: http://arxiv.org/abs/2202.05488v1
• Date: Fri, 11 Feb 2022 07:37:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 03:58:37.076478
• Title: Noise Augmentation Is All You Need For FGSM Fast Adversarial Training: Catastrophic Overfitting And Robust Overfitting Require Different Augmentation
• Title（参考訳）: fgsmの高速対向訓練に必要なノイズ増減:壊滅的な過剰フィッティングと強固な過剰フィッティングは異なる拡張を必要とする
• Authors: Chaoning Zhang, Kang Zhang, Axi Niu, Chenshuang Zhang, Jiu Feng, Chang D. Yoo, In So Kweon
• Abstract要約: 敵対的訓練(AT)とその変種は、敵対的頑健なモデルを得るための最も効果的なアプローチである。 本研究は,1ステップのF GSMATが過去の作業ラインで示唆されたほど難しくないことを示す。
• 参考スコア（独自算出の注目度）: 72.87038663276554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training (AT) and its variants are the most effective approaches for obtaining adversarially robust models. A unique characteristic of AT is that an inner maximization problem needs to be solved repeatedly before the model weights can be updated, which makes the training slow. FGSM AT significantly improves its efficiency but it fails when the step size grows. The SOTA GradAlign makes FGSM AT compatible with a higher step size, however, its regularization on input gradient makes it 3 to 4 times slower than FGSM AT. Our proposed NoiseAug removes the extra computation overhead by directly regularizing on the input itself. The key contribution of this work lies in an empirical finding that single-step FGSM AT is not as hard as suggested in the past line of work: noise augmentation is all you need for (FGSM) fast AT. Towards understanding the success of our NoiseAug, we perform an extensive analysis and find that mitigating Catastrophic Overfitting (CO) and Robust Overfitting (RO) need different augmentations. Instead of more samples caused by data augmentation, we identify what makes NoiseAug effective for preventing CO might lie in its improved local linearity.
• Abstract（参考訳）: 敵対的訓練(AT)とその変種は、敵対的堅牢なモデルを得るための最も効果的なアプローチである。 atのユニークな特徴は、モデル重みが更新される前に内的最大化問題を繰り返し解く必要があるため、トレーニングが遅くなることである。 FGSM ATは効率を大幅に向上するが、ステップサイズが大きくなると失敗する。 SOTA GradAlignはFGSM ATをより高いステップサイズで対応させるが、入力勾配の正規化はFGSM ATの3倍から4倍遅くする。 提案したNossAugは、入力自体を直接正規化することで、余分な計算オーバーヘッドを取り除く。 この研究の重要な貢献は、シングルステップのFGSM ATが過去の作業ラインで示唆されたほど難しくない、という実証的な発見にある。 ノイズAugの成功を理解するために、我々は広範な分析を行い、破滅的オーバーフィッティング(CO)とロバストオーバーフィッティング(RO)の緩和には異なる拡張が必要であることを発見した。 データ拡張によるサンプル数を増やす代わりに,局所線形性の向上にcoの防止にどのような効果があるかを明らかにする。

関連論文リスト

• Fourier-basis Functions to Bridge Augmentation Gap: Rethinking Frequency Augmentation in Image Classification [3.129187821625805]
  AFA(Auxiliary Fourier-Basis Augmentation)は、周波数領域の増大を狙った技法であり、視覚的な拡張によって残された拡張ギャップを埋めるものである。 以上の結果から,AFAは,一般的な汚職に対するモデルの堅牢性,OODの一般化,モデルの性能の整合性,摂動の増大に対するモデルの性能の整合性,モデルの標準性能に対する無視的欠陥に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-03-04T11:30:02Z)
• Inference Stage Denoising for Undersampled MRI Reconstruction [13.8086726938161]
  磁気共鳴画像(MRI)データの再構成は、ディープラーニングによって肯定的な影響を受けている。 重要な課題は、トレーニングとテストデータ間の分散シフトへの一般化を改善することだ。
  論文  参考訳（メタデータ） (2024-02-12T12:50:10Z)
• DASA: Difficulty-Aware Semantic Augmentation for Speaker Verification [55.306583814017046]
  本稿では,話者認証のための難易度認識型セマンティック拡張(DASA)手法を提案する。 DASAは、話者埋め込み空間における多様なトレーニングサンプルを、無視できる余分な計算コストで生成する。 最も良い結果は、CN-Celeb評価セット上でのEER測定値の14.6%の相対的な減少を達成する。
  論文  参考訳（メタデータ） (2023-10-18T17:07:05Z)
• Data Augmentation Alone Can Improve Adversarial Training [5.1024659285813785]
  データの増大だけでは、敵の訓練における精度と堅牢性を大幅に向上させることができる。 我々は,改良された多様性とバランスの取れた硬さを有する新たな作物形質転換であるCropshiftを提案する。 本手法は, 対人訓練におけるデータ強化のための最先端の精度と堅牢性を実現する。
  論文  参考訳（メタデータ） (2023-01-24T09:36:39Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Make Some Noise: Reliable and Efficient Single-Step Adversarial Training [81.2112613657771]
  単段階対向訓練におけるノイズとクリップの役割を再考する。 クリーンサンプルの周囲に強いノイズと切断しないノイズを併用することにより, 大きな摂動半径に対するCOの回避に極めて有効であることが判明した。
  論文  参考訳（メタデータ） (2022-02-02T18:10:01Z)
• Consistency Regularization for Adversarial Robustness [88.65786118562005]
  adversarial trainingは、ディープニューラルネットワークの敵対的堅牢性を得るために最も成功した方法の1つである。 しかし、ATから得られる堅牢性の大幅な一般化ギャップは問題視されている。 本稿では,この問題に対処するためにデータ拡張手法について検討する。
  論文  参考訳（メタデータ） (2021-03-08T09:21:41Z)
• Understanding and Improving Fast Adversarial Training [27.666483899332643]
  最近の研究は、ディープラーニングモデルに敵対的トレーニングを計算効率良くすることに焦点を当てている。 FGSMにランダムなステップを加えることで、破滅的なオーバーフィッティングを防げないことを示す。 破滅的なオーバーフィッティングを防止する新しい正規化法であるGradAlignを提案する。
  論文  参考訳（メタデータ） (2020-07-06T10:16:43Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。