論文の概要: Adversarial Coreset Selection for Efficient Robust Training
- arxiv url: http://arxiv.org/abs/2209.05785v2
- Date: Tue, 8 Aug 2023 06:06:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 17:42:46.449104
- Title: Adversarial Coreset Selection for Efficient Robust Training
- Title（参考訳）: 効率的なロバストトレーニングのための逆コアセット選択
- Authors: Hadi M. Dolatabadi, Sarah Erfani, Christopher Leckie
- Abstract要約: トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。
本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
- 参考スコア（独自算出の注目度）: 11.510009152620666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks are vulnerable to adversarial attacks: adding well-crafted,
imperceptible perturbations to their input can modify their output. Adversarial
training is one of the most effective approaches to training robust models
against such attacks. Unfortunately, this method is much slower than vanilla
training of neural networks since it needs to construct adversarial examples
for the entire training data at every iteration. By leveraging the theory of
coreset selection, we show how selecting a small subset of training data
provides a principled approach to reducing the time complexity of robust
training. To this end, we first provide convergence guarantees for adversarial
coreset selection. In particular, we show that the convergence bound is
directly related to how well our coresets can approximate the gradient computed
over the entire training data. Motivated by our theoretical analysis, we
propose using this gradient approximation error as our adversarial coreset
selection objective to reduce the training set size effectively. Once built, we
run adversarial training over this subset of the training data. Unlike existing
methods, our approach can be adapted to a wide variety of training objectives,
including TRADES, $\ell_p$-PGD, and Perceptual Adversarial Training. We conduct
extensive experiments to demonstrate that our approach speeds up adversarial
training by 2-3 times while experiencing a slight degradation in the clean and
robust accuracy.
- Abstract（参考訳）: ニューラルネットワークは敵の攻撃に弱い: 入力に巧みに作り上げられた、知覚不能な摂動を加えることで、出力を変更できる。
敵の訓練は、そのような攻撃に対して堅牢なモデルを訓練するための最も効果的なアプローチの1つである。
残念ながら、トレーニングデータ全体の逆例をイテレーション毎に構築する必要があるため、ニューラルネットワークのバニラトレーニングよりもはるかに遅い。
コアセット選択の理論を活用することで、トレーニングデータの小さなサブセットの選択が、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供することを示す。
この目的のために、まず、逆コアセット選択に対する収束保証を提供する。
特に、収束境界は、コアセットがトレーニングデータ全体にわたって計算された勾配をいかにうまく近似できるかに直接関係していることを示す。
理論的解析により,この勾配近似誤差を逆コアセット選択目的として用いて,トレーニングセットのサイズを効果的に削減する。
一度構築すると、トレーニングデータのこのサブセット上で逆トレーニングを実行します。
既存の手法と異なり,TRADES,$\ell_p$-PGD,Perceptual Adversarial Trainingなど,さまざまなトレーニング対象に適用することができる。
我々は,我々のアプローチが,クリーンでロバストな精度の低下を経験しながら,敵のトレーニングを2～3倍高速化することを示すために,広範な実験を行った。
関連論文リスト
- Fast Propagation is Better: Accelerating Single-Step Adversarial
Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。
モデルの内部構造ブロックを利用して効率を向上させることを提案する。
従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文 参考訳（メタデータ） (2023-10-24T01:36:20Z) - Adversarial Training Should Be Cast as a Non-Zero-Sum Game [121.95628660889628]
対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。
敵のトレーニングアルゴリズムでよく使われるサロゲートベースの緩和は、ロバスト性に関するすべての保証を無効にすることを示す。
対人訓練の新たな非ゼロサム二段階の定式化は、一致し、場合によっては最先端の攻撃よりも優れたフレームワークをもたらす。
論文 参考訳（メタデータ） (2023-06-19T16:00:48Z) - CAT:Collaborative Adversarial Training [80.55910008355505]
ニューラルネットワークの堅牢性を改善するために,協調的対人訓練フレームワークを提案する。
具体的には、異なる対戦型トレーニング手法を使用して、堅牢なモデルをトレーニングし、トレーニングプロセス中にモデルが自身の知識と対話できるようにします。
Cat は Auto-Attack ベンチマークの下で CIFAR-10 上の追加データを用いることなく、最先端の敵の堅牢性を達成している。
論文 参考訳（メタデータ） (2023-03-27T05:37:43Z) - Do we need entire training data for adversarial training? [2.995087247817663]
我々は, 対人訓練のためのトレーニングデータのサブセットのみを用いることで, 任意の対人訓練アルゴリズムのトレーニング時間を短縮できることを示す。
逆行性サブセットで逆行訓練を行い、データセット全体のバニラトレーニングと組み合わせる。
その結果,本手法をFGSMにプラグインした場合,MNISTでは3.52倍,CIFAR-10データセットでは1.98倍の高速化を実現することができた。
論文 参考訳（メタデータ） (2023-03-10T23:21:05Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial
Training [11.241749205970253]
トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。
本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
論文 参考訳（メタデータ） (2021-12-01T09:55:01Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - CAT: Customized Adversarial Training for Improved Robustness [142.3480998034692]
そこで我々は,各トレーニングサンプルに対して,摂動レベルと対応するラベルを適応的にカスタマイズする,Customized Adversarial Training (CAT) という新しいアルゴリズムを提案する。
提案アルゴリズムは,従来の逆行訓練法よりもクリーンでロバストな精度が得られることを示す。
論文 参考訳（メタデータ） (2020-02-17T06:13:05Z) - Improving the affordability of robustness training for DNNs [11.971637253035107]
逆行訓練の初期段階は冗長であり、計算効率を大幅に向上させる自然な訓練に置き換えることができることを示す。
提案手法は, 各種敵攻撃の強みに対するモデルテスト精度と一般化により, 最大2.5倍の訓練時間を短縮できることを示す。
論文 参考訳（メタデータ） (2020-02-11T07:29:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。