論文の概要: Do we need entire training data for adversarial training?
- arxiv url: http://arxiv.org/abs/2303.06241v2
- Date: Wed, 5 Apr 2023 00:07:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 15:21:50.129381
- Title: Do we need entire training data for adversarial training?
- Title（参考訳）: 対人訓練には全トレーニングデータが必要ですか?
- Authors: Vipul Gupta, Apurva Narayan
- Abstract要約: 我々は, 対人訓練のためのトレーニングデータのサブセットのみを用いることで, 任意の対人訓練アルゴリズムのトレーニング時間を短縮できることを示す。
逆行性サブセットで逆行訓練を行い、データセット全体のバニラトレーニングと組み合わせる。
その結果,本手法をFGSMにプラグインした場合,MNISTでは3.52倍,CIFAR-10データセットでは1.98倍の高速化を実現することができた。
- 参考スコア（独自算出の注目度）: 2.995087247817663
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Neural Networks (DNNs) are being used to solve a wide range of problems
in many domains including safety-critical domains like self-driving cars and
medical imagery. DNNs suffer from vulnerability against adversarial attacks. In
the past few years, numerous approaches have been proposed to tackle this
problem by training networks using adversarial training. Almost all the
approaches generate adversarial examples for the entire training dataset, thus
increasing the training time drastically. We show that we can decrease the
training time for any adversarial training algorithm by using only a subset of
training data for adversarial training. To select the subset, we filter the
adversarially-prone samples from the training data. We perform a simple
adversarial attack on all training examples to filter this subset. In this
attack, we add a small perturbation to each pixel and a few grid lines to the
input image.
We perform adversarial training on the adversarially-prone subset and mix it
with vanilla training performed on the entire dataset. Our results show that
when our method-agnostic approach is plugged into FGSM, we achieve a speedup of
3.52x on MNIST and 1.98x on the CIFAR-10 dataset with comparable robust
accuracy. We also test our approach on state-of-the-art Free adversarial
training and achieve a speedup of 1.2x in training time with a marginal drop in
robust accuracy on the ImageNet dataset.
- Abstract（参考訳）: 深層ニューラルネットワーク(dnn)は、自動運転車や医療画像といった安全クリティカルな領域を含む、多くの領域で幅広い問題を解決するために使用されている。
DNNは敵の攻撃に対する脆弱性に悩まされる。
近年,敵対的学習を用いてネットワークをトレーニングすることで,この問題に対処するための多くのアプローチが提案されている。
ほぼすべてのアプローチがトレーニングデータセット全体の逆例を生成するため、トレーニング時間が大幅に増加する。
我々は, 対人訓練のためのトレーニングデータのサブセットのみを用いることで, 任意の対人訓練アルゴリズムのトレーニング時間を短縮できることを示す。
サブセットを選択するために、トレーニングデータから逆方向のサンプルをフィルタリングする。
このサブセットをフィルタするために、すべてのトレーニング例に対して単純な敵攻撃を行います。
この攻撃では,各画素に小さな摂動を付加し,入力画像に少数の格子線を付加する。
我々は,逆行性のある部分集合上で逆行訓練を行い,データセット全体のバニラ訓練と混合する。
その結果,本手法をFGSMにプラグインした場合,MNISTでは3.52倍,CIFAR-10データセットでは1.98倍の高速化を実現することができた。
また,我々は最先端のフリー・コンバーサリートレーニングへのアプローチをテストし,imagenetデータセットにおけるロバスト精度の低下とともに,トレーニング時間の1.2倍のスピードアップを達成している。
関連論文リスト
- Fast Propagation is Better: Accelerating Single-Step Adversarial
Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。
モデルの内部構造ブロックを利用して効率を向上させることを提案する。
従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文 参考訳（メタデータ） (2023-10-24T01:36:20Z) - CAT:Collaborative Adversarial Training [80.55910008355505]
ニューラルネットワークの堅牢性を改善するために,協調的対人訓練フレームワークを提案する。
具体的には、異なる対戦型トレーニング手法を使用して、堅牢なモデルをトレーニングし、トレーニングプロセス中にモデルが自身の知識と対話できるようにします。
Cat は Auto-Attack ベンチマークの下で CIFAR-10 上の追加データを用いることなく、最先端の敵の堅牢性を達成している。
論文 参考訳（メタデータ） (2023-03-27T05:37:43Z) - Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。
本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-09-13T07:37:53Z) - Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。
我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-08-17T05:42:59Z) - Efficient Adversarial Training With Data Pruning [26.842714298874192]
我々は,データプルーニングが,対人訓練の収束と信頼性の向上につながることを示す。
一部の設定では、データのプルーニングは両方の世界の利点をもたらします。
論文 参考訳（メタデータ） (2022-07-01T23:54:46Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - KATANA: Simple Post-Training Robustness Using Test Time Augmentations [49.28906786793494]
このような攻撃に対する先導的な防御は、DNNが敵の攻撃に対して堅牢であるように訓練される技術である敵の訓練である。
そこで本稿では,既存の事前学習型DNNを重みを変更せずに堅牢化する,シンプルで使いやすいKATANA手法を提案する。
我々の戦略は、自然画像の分類に最小限の妥協を伴い、様々な攻撃に対する最先端の敵対的堅牢性を達成する。
論文 参考訳（メタデータ） (2021-09-16T19:16:00Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Overfitting in adversarially robust deep learning [86.11788847990783]
トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。
また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
論文 参考訳（メタデータ） (2020-02-26T15:40:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。