論文の概要: Less is More: Data Pruning for Faster Adversarial Training

• arxiv url: http://arxiv.org/abs/2302.12366v1
• Date: Thu, 23 Feb 2023 23:48:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-27 14:59:06.977220
• Title: Less is More: Data Pruning for Faster Adversarial Training
• Title（参考訳）: less is more: 迅速な敵のトレーニングのためのデータプルーニング
• Authors: Yize Li, Pu Zhao, Xue Lin, Bhavya Kailkhura, Ryan Goldh
• Abstract要約: 敵対的トレーニング(AT)は、現在、ディープニューラルネットワーク(DNN)を強固にするための最も効果的な手法の1つである 本稿では,データプルーニングを活用することにより,効率的なAT問題に対する見方を異にする。 実験により、データプルーニングベースのATは、未処理のATと同じような、あるいは優れた堅牢な(そしてクリーンな)精度を達成できることが示された。
• 参考スコア（独自算出の注目度）: 42.02132834359409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are sensitive to adversarial examples, resulting in fragile and unreliable performance in the real world. Although adversarial training (AT) is currently one of the most effective methodologies to robustify DNNs, it is computationally very expensive (e.g., 5-10X costlier than standard training). To address this challenge, existing approaches focus on single-step AT, referred to as Fast AT, reducing the overhead of adversarial example generation. Unfortunately, these approaches are known to fail against stronger adversaries. To make AT computationally efficient without compromising robustness, this paper takes a different view of the efficient AT problem. Specifically, we propose to minimize redundancies at the data level by leveraging data pruning. Extensive experiments demonstrate that the data pruning based AT can achieve similar or superior robust (and clean) accuracy as its unpruned counterparts while being significantly faster. For instance, proposed strategies accelerate CIFAR-10 training up to 3.44X and CIFAR-100 training to 2.02X. Additionally, the data pruning methods can readily be reconciled with existing adversarial acceleration tricks to obtain the striking speed-ups of 5.66X and 5.12X on CIFAR-10, 3.67X and 3.07X on CIFAR-100 with TRADES and MART, respectively.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、敵の例に敏感であり、現実の世界で脆弱で信頼性の低いパフォーマンスをもたらす。 現在、対戦訓練(AT)はDNNを強固にするための最も効果的な手法の1つであるが、計算的には非常に高価である(例えば、通常の訓練よりも5-10倍高い)。 この課題に対処するため、既存のアプローチでは、"fast at"と呼ばれるシングルステップ at にフォーカスし、逆例生成のオーバーヘッドを削減する。 残念ながら、これらのアプローチは強力な敵に対して失敗することが知られている。 頑健さを損なうことなく計算効率を向上させるため,本論文では,問題時の効率を異なる視点で考察する。 具体的には,データプルーニングを利用してデータレベルでの冗長性を最小化する。 広範囲な実験により、atに基づくデータプルーニングは、かなり高速でありながら、その非プルーニングと同等または優れたロバスト(そしてクリーンな)精度を達成できることが示されている。 例えば、提案された戦略は、CIFAR-10のトレーニングを3.44X、CIFAR-100のトレーニングを2.02Xまで加速させる。 さらに、データプルーニング手法は、既存の逆加速度トリックと容易に整合して、CIFAR-10の5.66Xと5.12X、TRADESとMARTのCIFAR-100の3.67Xと3.07Xをそれぞれ得ることができる。

関連論文リスト

• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• Learning the Unlearnable: Adversarial Augmentations Suppress Unlearnable Example Attacks [21.633448874100004]
  学習不能な例攻撃は、ディープラーニングモデルをトレーニングするための許可されていない使用に対して、公開データを保護するために使用することができる。 UEraser法は、未学習の事例攻撃に対する現在の防御よりも優れる。 私たちのコードはオープンソースで、ディープラーニングコミュニティで利用できます。
  論文  参考訳（メタデータ） (2023-03-27T12:00:54Z)
• IB-RAR: Information Bottleneck as Regularizer for Adversarial Robustness [6.92902550987764]
  実験結果から,本手法は逆行訓練と自然に組み合わせることができ,新しい逆行訓練の精度を一貫して向上させることができることがわかった。 また,提案手法は,クロスエントロピー損失のみのトレーニングなど,無防備な手法に対して優れたロバスト性を提供する。
  論文  参考訳（メタデータ） (2023-02-09T07:50:46Z)
• Peeling the Onion: Hierarchical Reduction of Data Redundancy for Efficient Vision Transformer Training [110.79400526706081]
  ビジョントランス (ViT) は近年多くのアプリケーションで成功を収めているが、その計算量とメモリ使用量によって一般化が制限されている。 従来の圧縮アルゴリズムは通常、事前訓練された高密度モデルから始まり、効率的な推論のみに焦点を当てる。 本稿では,3つのスパースの観点から,Tri-Level E-ViTと呼ばれるエンドツーエンドの効率的なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-19T21:15:47Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Boosting Fast Adversarial Training with Learnable Adversarial Initialization [79.90495058040537]
  対人訓練(AT)は、対人訓練の例を活用することにより、モデルロバスト性を改善するのに有効であることが示されている。 トレーニング効率を向上させるため,高速AT法では1回だけ勾配を計算することにより高速勾配符号法(FGSM)が採用されている。
  論文  参考訳（メタデータ） (2021-10-11T05:37:00Z)
• Fast is better than free: Revisiting adversarial training [86.11788847990783]
  より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。 我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
  論文  参考訳（メタデータ） (2020-01-12T20:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。