論文の概要: Make Some Noise: Reliable and Efficient Single-Step Adversarial Training

• arxiv url: http://arxiv.org/abs/2202.01181v1
• Date: Wed, 2 Feb 2022 18:10:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 13:45:36.154472
• Title: Make Some Noise: Reliable and Efficient Single-Step Adversarial Training
• Title（参考訳）: 騒音を発生させる:信頼性と効率のよい単段階対向訓練
• Authors: Pau de Jorge, Adel Bibi, Riccardo Volpi, Amartya Sanyal, Philip H. S. Torr, Gr\'egory Rogez and Puneet K. Dokania
• Abstract要約: 単段階対向訓練におけるノイズとクリップの役割を再考する。 クリーンサンプルの周囲に強いノイズと切断しないノイズを併用することにより, 大きな摂動半径に対するCOの回避に極めて有効であることが判明した。
• 参考スコア（独自算出の注目度）: 81.2112613657771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Wong et al. showed that adversarial training with single-step FGSM leads to a characteristic failure mode named catastrophic overfitting (CO), in which a model becomes suddenly vulnerable to multi-step attacks. They showed that adding a random perturbation prior to FGSM (RS-FGSM) seemed to be sufficient to prevent CO. However, Andriushchenko and Flammarion observed that RS-FGSM still leads to CO for larger perturbations, and proposed an expensive regularizer (GradAlign) to avoid CO. In this work, we methodically revisit the role of noise and clipping in single-step adversarial training. Contrary to previous intuitions, we find that using a stronger noise around the clean sample combined with not clipping is highly effective in avoiding CO for large perturbation radii. Based on these observations, we then propose Noise-FGSM (N-FGSM) that, while providing the benefits of single-step adversarial training, does not suffer from CO. Empirical analyses on a large suite of experiments show that N-FGSM is able to match or surpass the performance of previous single-step methods while achieving a 3$\times$ speed-up.
• Abstract（参考訳）: 近年、Wongらは、単一ステップのFGSMを用いた逆行訓練が破滅的オーバーフィッティング(CO)と呼ばれる特徴的な障害モードをもたらし、モデルが突然多ステップ攻撃に対して脆弱になることを示した。 FGSM (RS-FGSM) の前にランダムな摂動を加えるだけでCOを予防できることを示した。 しかし、Andriushchenko と Flammarion は、RS-FGSM が依然としてより大きな摂動のために CO に導かれることを観察し、CO を避けるために高価な正則化器 (GradAlign) を提案した。 本研究では,単段逆行訓練におけるノイズとクリッピングの役割を体系的に再検討する。 従来の直観とは対照的に,クリッピングを伴わないクリーンサンプル周辺の強いノイズを用いることは,大きな摂動半径に対するcoの回避に非常に有効であることがわかった。 これらの観測に基づいて, 単段階対向訓練の利点を提供する一方, CO を損なわないノイズFGSM (N-FGSM) を提案する。 実験結果から、N-FGSMは3$\times$のスピードアップを達成しつつ、従来のシングルステップメソッドのパフォーマンスを一致または超えることを示した。

関連論文リスト

• Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
  未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。 我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
  論文  参考訳（メタデータ） (2024-05-02T16:49:25Z)
• Catastrophic Overfitting: A Potential Blessing in Disguise [51.996943482875366]
  FAT(Fast Adversarial Training)は、敵の堅牢性向上に効果があるとして、研究コミュニティ内で注目を集めている。 既存のFATアプローチではCOの緩和が進んでいるが, クリーンサンプルの分類精度が低下するにつれて, 対向ロバスト性の上昇が生じる。 クリーンな例と逆向きな例に特徴アクティベーションの相違を利用して,COの根本原因を分析した。 我々は, モデル性能を高めることを目的として, 「攻撃難読化」を実現するためにCOを活用する。
  論文  参考訳（メタデータ） (2024-02-28T10:01:44Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• Noise Augmentation Is All You Need For FGSM Fast Adversarial Training: Catastrophic Overfitting And Robust Overfitting Require Different Augmentation [72.87038663276554]
  敵対的訓練(AT)とその変種は、敵対的頑健なモデルを得るための最も効果的なアプローチである。 本研究は,1ステップのF GSMATが過去の作業ラインで示唆されたほど難しくないことを示す。
  論文  参考訳（メタデータ） (2022-02-11T07:37:55Z)
• Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm [93.80082636284922]
  少数の敵対的攻撃は、数ピクセルを摂動するだけでディープ・ネットワーク(DNN)を騙すことができる。 近年の取り組みは、他の等級のl_infty摂動と組み合わせている。 本稿では,空間的・神経的摂動に対処するホモトピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:11:36Z)
• Robust Single-step Adversarial Training with Regularizer [11.35007968593652]
  本稿では,PGD正規化を用いた高速勾配符号法(FGSMPR)を提案する。 実験により,提案手法はFGSM対向学習を用いたL$_infty$-perturbationsのための頑健な深層ネットワークを訓練可能であることが示された。
  論文  参考訳（メタデータ） (2021-02-05T19:07:10Z)
• Understanding Catastrophic Overfitting in Single-step Adversarial Training [9.560980936110234]
  カタストロフィックオーバーフィッティング (catastrophic overfitting) とは, 急激な急激な急激な急激な勾配降下に対する頑健な精度が急激な0%にまで低下する現象である。 本稿では,破滅的なオーバーフィッティングを防止するだけでなく,一段階の逆行訓練による多段階の逆行攻撃を防ぐことが難しいという信念を覆す,簡単な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T06:13:35Z)
• Understanding and Improving Fast Adversarial Training [27.666483899332643]
  最近の研究は、ディープラーニングモデルに敵対的トレーニングを計算効率良くすることに焦点を当てている。 FGSMにランダムなステップを加えることで、破滅的なオーバーフィッティングを防げないことを示す。 破滅的なオーバーフィッティングを防止する新しい正規化法であるGradAlignを提案する。
  論文  参考訳（メタデータ） (2020-07-06T10:16:43Z)
• Towards Rapid and Robust Adversarial Training with One-Step Attacks [0.0]
  敵の訓練は、敵の攻撃に対するニューラルネットワークの堅牢性を高める最も成功した方法である。 本稿では,計算コストの低いFast Gradient Sign Methodを用いて,敵対的学習を可能にする2つのアイデアを提案する。 FGSMをベースとした対向訓練と併用したノイズ注入は、PGDによる対向訓練に匹敵する結果が得られ、より高速であることを示す。
  論文  参考訳（メタデータ） (2020-02-24T07:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。