論文の概要: Boosting Fast Adversarial Training with Learnable Adversarial Initialization

• arxiv url: http://arxiv.org/abs/2110.05007v1
• Date: Mon, 11 Oct 2021 05:37:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 16:09:20.299834
• Title: Boosting Fast Adversarial Training with Learnable Adversarial Initialization
• Title（参考訳）: 学習可能なadversarial初期化による高速なadversarialトレーニングの促進
• Authors: Xiaojun Jia, Yong Zhang, Baoyuan Wu, Jue Wang and Xiaochun Cao
• Abstract要約: 対人訓練(AT)は、対人訓練の例を活用することにより、モデルロバスト性を改善するのに有効であることが示されている。 トレーニング効率を向上させるため,高速AT法では1回だけ勾配を計算することにより高速勾配符号法(FGSM)が採用されている。
• 参考スコア（独自算出の注目度）: 79.90495058040537
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training (AT) has been demonstrated to be effective in improving model robustness by leveraging adversarial examples for training. However, most AT methods are in face of expensive time and computational cost for calculating gradients at multiple steps in generating adversarial examples. To boost training efficiency, fast gradient sign method (FGSM) is adopted in fast AT methods by calculating gradient only once. Unfortunately, the robustness is far from satisfactory. One reason may arise from the initialization fashion. Existing fast AT generally uses a random sample-agnostic initialization, which facilitates the efficiency yet hinders a further robustness improvement. Up to now, the initialization in fast AT is still not extensively explored. In this paper, we boost fast AT with a sample-dependent adversarial initialization, i.e., an output from a generative network conditioned on a benign image and its gradient information from the target network. As the generative network and the target network are optimized jointly in the training phase, the former can adaptively generate an effective initialization with respect to the latter, which motivates gradually improved robustness. Experimental evaluations on four benchmark databases demonstrate the superiority of our proposed method over state-of-the-art fast AT methods, as well as comparable robustness to advanced multi-step AT methods. The code is released at https://github.com//jiaxiaojunQAQ//FGSM-SDI.
• Abstract（参考訳）: 逆行訓練(AT)は、逆行訓練の例を活用したモデル堅牢性向上に有効であることが示されている。 しかし、AT法の多くは、逆例を生成するために複数のステップで勾配を計算するのに高価な時間と計算コストに直面している。 トレーニング効率を高めるため,高速AT法では1回だけ勾配を計算することで高速勾配符号法(FGSM)を採用する。 残念ながら、堅牢性は満足には程遠い。 1つの理由は初期化の流行から生じる。 既存の高速ATは、通常ランダムなサンプルに依存しない初期化を使用しており、効率が向上するが、さらなる堅牢性の改善を妨げる。 今のところ、高速ATの初期化はまだ広く調査されていない。 本稿では,サンプル依存の逆初期化,すなわち良性画像に条件づけされた生成ネットワークからの出力とその対象ネットワークからの勾配情報を用いて,高速にatを高速化する。 生成ネットワークと対象ネットワークとを訓練段階において協調的に最適化することにより、前者が順応的に有効初期化を生成でき、それによって徐々に堅牢性が向上する。 4つのベンチマークデータベースを用いた実験により,提案手法が最先端の高速AT法よりも優れていることを示すとともに,高度マルチステップAT法に匹敵する堅牢性を示す。 コードはhttps://github.com/jiaxiaojunqaq//fgsm-sdiでリリースされる。

関連論文リスト

• Prior-Guided Adversarial Initialization for Fast Adversarial Training [84.56377396106447]
  本稿では,FAT(Fast Adversarial Training)とSAT(Standard Adversarial Training)の違いについて検討する。 FATの攻撃成功率(AE)は、後期訓練段階で徐々に悪化し、過度に適合する。 本報告では, オーバーフィッティングを回避するために, 事前誘導FGSM初期化手法を提案する。 提案手法は, 破滅的な過度適合を防止し, 最先端のFAT法より優れる。
  論文  参考訳（メタデータ） (2022-07-18T18:13:10Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization [60.72410937614299]
  提案手法は,2レベルAT(FAST-BAT)と呼ばれる新しいアルゴリズムセットの設計と解析である。 FAST-BATは、グラデーションサインメソッドや明示的なロバスト正規化を呼ぶことなく、符号ベースの投射降下(PGD)攻撃を防御することができる。
  論文  参考訳（メタデータ） (2021-12-23T06:25:36Z)
• Data-driven Weight Initialization with Sylvester Solvers [72.11163104763071]
  本稿では,ディープニューラルネットワークのパラメータを初期化するためのデータ駆動方式を提案する。 提案手法は,特にショットや微調整の設定において有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-02T07:33:16Z)
• Efficient Robust Training via Backward Smoothing [125.91185167854262]
  敵の訓練は敵の例に対抗して最も効果的な戦略である。 トレーニングの各ステップにおける反復的な敵攻撃により、高い計算コストに悩まされる。 近年の研究では、単一段階攻撃を行うことで、高速な対人訓練が可能であることが示されている。
  論文  参考訳（メタデータ） (2020-10-03T04:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。