論文の概要: Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks

• arxiv url: http://arxiv.org/abs/2310.15444v1
• Date: Tue, 24 Oct 2023 01:36:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 21:03:15.945503
• Title: Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks
• Title（参考訳）: 高速伝播: サンプリングサブネットワークによる単段攻撃訓練の高速化
• Authors: Xiaojun Jia, Jianshu Li, Jindong Gu, Yang Bai and Xiaochun Cao
• Abstract要約: 逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
• 参考スコア（独自算出の注目度）: 69.54774045493227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training has shown promise in building robust models against adversarial examples. A major drawback of adversarial training is the computational overhead introduced by the generation of adversarial examples. To overcome this limitation, adversarial training based on single-step attacks has been explored. Previous work improves the single-step adversarial training from different perspectives, e.g., sample initialization, loss regularization, and training strategy. Almost all of them treat the underlying model as a black box. In this work, we propose to exploit the interior building blocks of the model to improve efficiency. Specifically, we propose to dynamically sample lightweight subnetworks as a surrogate model during training. By doing this, both the forward and backward passes can be accelerated for efficient adversarial training. Besides, we provide theoretical analysis to show the model robustness can be improved by the single-step adversarial training with sampled subnetworks. Furthermore, we propose a novel sampling strategy where the sampling varies from layer to layer and from iteration to iteration. Compared with previous methods, our method not only reduces the training cost but also achieves better model robustness. Evaluations on a series of popular datasets demonstrate the effectiveness of the proposed FB-Better. Our code has been released at https://github.com/jiaxiaojunQAQ/FP-Better.
• Abstract（参考訳）: 敵のトレーニングでは、敵の例に対して堅牢なモデルを構築することが期待されている。 逆行訓練の大きな欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 この制限を克服するため、単段階攻撃に基づく敵の訓練が検討されている。 これまでの作業は、サンプル初期化、損失正規化、トレーニング戦略など、異なる視点からの一段階の敵訓練を改善する。 ほとんど全員が、基盤となるモデルをブラックボックスとして扱う。 本研究では,モデルの内部構造ブロックを利用して効率を向上させることを提案する。 具体的には、トレーニング中の代理モデルとして軽量サブネットワークを動的にサンプリングすることを提案する。 これにより、効果的に対向訓練を行うために、前方と後方の両方のパスを加速することができる。 さらに,モデルロバスト性が,サンプルサブネットワークを用いた単段逆訓練によって向上することを示すための理論的解析を行う。 さらに, サンプリングを層ごとに, 繰り返しから繰り返しへと変化させる新しいサンプリング手法を提案する。 従来の手法と比較して,本手法はトレーニングコストを削減するだけでなく,モデル堅牢性を向上する。 一連の人気データセットの評価は、提案したFB-Betterの有効性を示す。 私たちのコードはhttps://github.com/jiaxiaojunQAQ/FP-Better.comで公開されています。

関連論文リスト

• CAT:Collaborative Adversarial Training [80.55910008355505]
  ニューラルネットワークの堅牢性を改善するために,協調的対人訓練フレームワークを提案する。 具体的には、異なる対戦型トレーニング手法を使用して、堅牢なモデルをトレーニングし、トレーニングプロセス中にモデルが自身の知識と対話できるようにします。 Cat は Auto-Attack ベンチマークの下で CIFAR-10 上の追加データを用いることなく、最先端の敵の堅牢性を達成している。
  論文  参考訳（メタデータ） (2023-03-27T05:37:43Z)
• Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
  トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。 本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-09-13T07:37:53Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial Training [11.241749205970253]
  トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。 本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
  論文  参考訳（メタデータ） (2021-12-01T09:55:01Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• Efficient Robust Training via Backward Smoothing [125.91185167854262]
  敵の訓練は敵の例に対抗して最も効果的な戦略である。 トレーニングの各ステップにおける反復的な敵攻撃により、高い計算コストに悩まされる。 近年の研究では、単一段階攻撃を行うことで、高速な対人訓練が可能であることが示されている。
  論文  参考訳（メタデータ） (2020-10-03T04:37:33Z)
• Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
  単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。 提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
  論文  参考訳（メタデータ） (2020-04-18T14:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。