論文の概要: Data Augmentation Alone Can Improve Adversarial Training

• arxiv url: http://arxiv.org/abs/2301.09879v1
• Date: Tue, 24 Jan 2023 09:36:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 14:00:37.805954
• Title: Data Augmentation Alone Can Improve Adversarial Training
• Title（参考訳）: データ拡張アローンは、対人訓練を改善する
• Authors: Lin Li, Michael Spratling
• Abstract要約: データの増大だけでは、敵の訓練における精度と堅牢性を大幅に向上させることができる。 我々は,改良された多様性とバランスの取れた硬さを有する新たな作物形質転換であるCropshiftを提案する。 本手法は, 対人訓練におけるデータ強化のための最先端の精度と堅牢性を実現する。
• 参考スコア（独自算出の注目度）: 5.1024659285813785
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Adversarial training suffers from the issue of robust overfitting, which seriously impairs its generalization performance. Data augmentation, which is effective at preventing overfitting in standard training, has been observed by many previous works to be ineffective in mitigating overfitting in adversarial training. This work proves that, contrary to previous findings, data augmentation alone can significantly boost accuracy and robustness in adversarial training. We find that the hardness and the diversity of data augmentation are important factors in combating robust overfitting. In general, diversity can improve both accuracy and robustness, while hardness can boost robustness at the cost of accuracy within a certain limit and degrade them both over that limit. To mitigate robust overfitting, we first propose a new crop transformation, Cropshift, which has improved diversity compared to the conventional one (Padcrop). We then propose a new data augmentation scheme, based on Cropshift, with much improved diversity and well-balanced hardness. Empirically, our augmentation method achieves the state-of-the-art accuracy and robustness for data augmentations in adversarial training. Furthermore, when combined with weight averaging it matches, or even exceeds, the performance of the best contemporary regularization methods for alleviating robust overfitting. Code is available at: https://github.com/TreeLLi/DA-Alone-Improves-AT.
• Abstract（参考訳）: 敵の訓練は強固な過剰フィッティングの問題に苦しめられ、それが一般化性能を著しく損なう。 標準訓練における過剰フィッティングの防止に有効なデータ拡張は、多くの先行研究によって、敵訓練における過剰フィッティングの緩和に効果がないことが観察されている。 この研究は、以前の結果とは対照的に、データ拡張だけでは、敵の訓練における精度と堅牢性を大幅に向上させることができることを証明している。 データ強化の硬さと多様性は、堅牢なオーバーフィッティングと戦う上で重要な要素であることがわかった。 一般に、多様性は正確性と堅牢性の両方を改善できるが、硬度は一定の限界内で正確さのコストで堅牢性を高め、その限界を乗り越えて両方を劣化させる。 そこで我々はまず,従来の品種 (Padcrop) に比べて多様性が向上した新しい作物形質転換(Cropshift)を提案する。 そこで我々は,cropshiftに基づく新しいデータ拡張スキームを提案し,その多様性とバランスの取れたハードネスについて述べる。 経験的に,本手法は,敵訓練におけるデータ拡張の精度と頑健性を実現する。 さらに、重量平均値と組み合わせた場合、あるいはそれを超える場合、頑丈なオーバーフィッティングを緩和する最適な現代正規化手法の性能が向上する。 コードは、https://github.com/TreeLLi/DA-Alone-Improves-AT.comで入手できる。

関連論文リスト

• Revisiting Adversarial Training under Long-Tailed Distributions [8.187045490998269]
  敵の訓練は、このような攻撃に対抗する最も効果的な方法の1つとして認識されている。 Balanced Softmax Loss単独で、トレーニングオーバーヘッドを大幅に削減しつつ、完全なRoBalアプローチに匹敵するパフォーマンスを実現することができることを示す。 これを解決するために,データ拡張をソリューションとして検討し,バランスの取れたデータと異なり,データ拡張は頑健なオーバーフィッティングを効果的に軽減するだけでなく,ロバスト性も著しく改善することを示した。
  論文  参考訳（メタデータ） (2024-03-15T07:29:41Z)
• Incorporating Supervised Domain Generalization into Data Augmentation [4.14360329494344]
  本稿では,データ拡張の堅牢性と訓練効率を向上させるために,コントラッシブ・セマンティック・アライメント(CSA)ロス法を提案する。 CIFAR-100とCUBデータセットの実験により、提案手法は典型的なデータ拡張の堅牢性とトレーニング効率を向上させることが示された。
  論文  参考訳（メタデータ） (2023-10-02T09:20:12Z)
• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• Efficient and Effective Augmentation Strategy for Adversarial Training [48.735220353660324]
  ディープニューラルネットワークの敵対的トレーニングは、標準トレーニングよりもはるかにデータ処理が難しいことが知られている。 本稿では,DAJAT(Diverse Augmentation-based Joint Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2022-10-27T10:59:55Z)
• Strength-Adaptive Adversarial Training [103.28849734224235]
  対戦訓練(AT)は、敵データに対するネットワークの堅牢性を確実に改善することが証明されている。 所定の摂動予算を持つ現在のATは、堅牢なネットワークの学習に制限がある。 本稿では,これらの制限を克服するために,emphStrength-Adaptive Adversarial Training (SAAT)を提案する。
  論文  参考訳（メタデータ） (2022-10-04T00:22:37Z)
• Guided Interpolation for Adversarial Training [73.91493448651306]
  トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。 本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。 バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
  論文  参考訳（メタデータ） (2021-02-15T03:55:08Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Geometry-aware Instance-reweighted Adversarial Training [78.70024866515756]
  敵対的機械学習では、堅牢性と正確性がお互いを傷つけるという共通の信念があった。 本稿では,自然データ点の攻撃がいかに難しいかに基づいて,幾何対応のインスタンス再重み付き対向訓練を提案する。 実験の結果,本提案は標準的な対人訓練の堅牢性を高めることが示唆された。
  論文  参考訳（メタデータ） (2020-10-05T01:33:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。