論文の概要: Efficient and Effective Augmentation Strategy for Adversarial Training

• arxiv url: http://arxiv.org/abs/2210.15318v1
• Date: Thu, 27 Oct 2022 10:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 13:19:35.686826
• Title: Efficient and Effective Augmentation Strategy for Adversarial Training
• Title（参考訳）: 対向訓練における効率的かつ効果的な強化戦略
• Authors: Sravanti Addepalli, Samyak Jain, R.Venkatesh Babu
• Abstract要約: ディープニューラルネットワークの敵対的トレーニングは、標準トレーニングよりもはるかにデータ処理が難しいことが知られている。 本稿では,DAJAT(Diverse Augmentation-based Joint Adversarial Training)を提案する。
• 参考スコア（独自算出の注目度）: 48.735220353660324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training of Deep Neural Networks is known to be significantly more data-hungry when compared to standard training. Furthermore, complex data augmentations such as AutoAugment, which have led to substantial gains in standard training of image classifiers, have not been successful with Adversarial Training. We first explain this contrasting behavior by viewing augmentation during training as a problem of domain generalization, and further propose Diverse Augmentation-based Joint Adversarial Training (DAJAT) to use data augmentations effectively in adversarial training. We aim to handle the conflicting goals of enhancing the diversity of the training dataset and training with data that is close to the test distribution by using a combination of simple and complex augmentations with separate batch normalization layers during training. We further utilize the popular Jensen-Shannon divergence loss to encourage the joint learning of the diverse augmentations, thereby allowing simple augmentations to guide the learning of complex ones. Lastly, to improve the computational efficiency of the proposed method, we propose and utilize a two-step defense, Ascending Constraint Adversarial Training (ACAT), that uses an increasing epsilon schedule and weight-space smoothing to prevent gradient masking. The proposed method DAJAT achieves substantially better robustness-accuracy trade-off when compared to existing methods on the RobustBench Leaderboard on ResNet-18 and WideResNet-34-10. The code for implementing DAJAT is available here: https://github.com/val-iisc/DAJAT.
• Abstract（参考訳）: ディープニューラルネットワークのadversarial trainingは、標準的なトレーニングと比べて、はるかにデータ不足であることが知られている。 さらに、画像分類器の標準トレーニングが大幅に向上したオートオーグメントのような複雑なデータ拡張は、敵対的なトレーニングでは成功していない。 まず,訓練中の強化をドメイン一般化の課題としてとらえることで,この対比行動を説明し,さらに多様な強化型合同敵訓練 (dajat) を提案し,敵訓練におけるデータ強化を効果的に活用する。 訓練中のバッチ正規化レイヤを分離して,単純かつ複雑な拡張を組み合わせることで,トレーニングデータセットの多様性の向上と,テスト分布に近いデータとのトレーニングという,相反する目標の処理を目指す。 我々はさらに、Jensen-Shannon分散損失を利用して、多種多様な拡張の合同学習を促進することにより、単純な拡張が複雑な学習のガイドとなる。 最後に,提案手法の計算効率を向上させるために,エプシロンスケジュールの増大と重み空間の平滑化を利用して勾配マスキングを防止できる2段階の防御法 Ascending Constraint Adversarial Training (ACAT) を提案する。 提案手法は,ResNet-18 と WideResNet-34-10 上のRobustBench Leaderboard の既存の手法と比較して,ロバスト性-精度トレードオフを著しく向上させる。 DAJATの実装コードは以下の通りである。

関連論文リスト

• Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation [59.899714450049494]
  オフラインの事前トレーニングは、準最適ポリシーを生成し、オンライン強化学習のパフォーマンスを低下させる可能性がある。 本稿では,オフライン強化学習による事前学習のメリットを最大化し,有効となるために必要なデータの規模を削減するためのモデルベースデータ拡張戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-15T14:49:41Z)
• Incorporating Supervised Domain Generalization into Data Augmentation [4.14360329494344]
  本稿では,データ拡張の堅牢性と訓練効率を向上させるために,コントラッシブ・セマンティック・アライメント(CSA)ロス法を提案する。 CIFAR-100とCUBデータセットの実験により、提案手法は典型的なデータ拡張の堅牢性とトレーニング効率を向上させることが示された。
  論文  参考訳（メタデータ） (2023-10-02T09:20:12Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
  本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。 RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。 その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1～3%の精度でテストできることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T02:26:24Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier [23.886422706697882]
  フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。 フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。 その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-21T10:50:34Z)
• Guided Interpolation for Adversarial Training [73.91493448651306]
  トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。 本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。 バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
  論文  参考訳（メタデータ） (2021-02-15T03:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。