論文の概要: Data Augmentation Can Improve Robustness

• arxiv url: http://arxiv.org/abs/2111.05328v1
• Date: Tue, 9 Nov 2021 18:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 14:48:27.435814
• Title: Data Augmentation Can Improve Robustness
• Title（参考訳）: データ拡張はロバスト性を改善する
• Authors: Sylvestre-Alvise Rebuffi, Sven Gowal, Dan A. Calian, Florian Stimberg, Olivia Wiles, Timothy Mann
• Abstract要約: アドリアルトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。 モデルウェイト平均化と組み合わせることで、データの増大がロバストな精度を大幅に向上させることを示した。 特に、$ell_infty$ 標準束縛されたサイズ $epsilon = 8/255$ の摂動に対して、我々のモデルは外部データを使わずに60.07%の堅牢な精度に達する。
• 参考スコア（独自算出の注目度）: 21.485435979018256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training suffers from robust overfitting, a phenomenon where the robust test accuracy starts to decrease during training. In this paper, we focus on reducing robust overfitting by using common data augmentation schemes. We demonstrate that, contrary to previous findings, when combined with model weight averaging, data augmentation can significantly boost robust accuracy. Furthermore, we compare various augmentations techniques and observe that spatial composition techniques work the best for adversarial training. Finally, we evaluate our approach on CIFAR-10 against $\ell_\infty$ and $\ell_2$ norm-bounded perturbations of size $\epsilon = 8/255$ and $\epsilon = 128/255$, respectively. We show large absolute improvements of +2.93% and +2.16% in robust accuracy compared to previous state-of-the-art methods. In particular, against $\ell_\infty$ norm-bounded perturbations of size $\epsilon = 8/255$, our model reaches 60.07% robust accuracy without using any external data. We also achieve a significant performance boost with this approach while using other architectures and datasets such as CIFAR-100, SVHN and TinyImageNet.
• Abstract（参考訳）: 相手のトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。 本稿では,データ拡張スキームを用いたロバストオーバーフィッティングの低減に着目する。 これまでの知見とは対照的に,モデルの重み平均化と組み合わせると,データ拡張がロバストな精度を著しく向上することを示す。 さらに,様々な拡張技術を比較し,空間構成技術が対人訓練に最適であることを示す。 最後に、CIFAR-10 に対する $\ell_\infty$ と $\ell_2$ に対して、それぞれ $\epsilon = 8/255$ と $\epsilon = 128/255$ である。 従来の最先端手法と比較して,強靭な精度で+2.93%,+2.16%の絶対的な改善が見られた。 特に、$\ell_\infty$ の標準有界摂動に対して$\epsilon = 8/255$ のモデルでは、外部データを使わずに60.07%の堅牢な精度に達する。 このアプローチでは、CIFAR-100、SVHN、TinyImageNetといった他のアーキテクチャやデータセットを使用しながら、大幅なパフォーマンス向上を実現しています。

関連論文リスト

• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Breaking Boundaries: Balancing Performance and Robustness in Deep Wireless Traffic Forecasting [11.029214459961114]
  正確性と堅牢性の間のトレードオフのバランスをとることは、時系列予測における長年の課題である。 本研究では,様々な摂動シナリオを考察し,実世界の通信データを用いた敵攻撃に対する防御機構を提案する。
  論文  参考訳（メタデータ） (2023-11-16T11:10:38Z)
• Better Diffusion Models Further Improve Adversarial Training [97.44991845907708]
  拡散確率モデル (DDPM) によって生成されたデータは, 対人訓練を改善することが認識されている。 本稿では,効率のよい最新の拡散モデルを用いて,肯定的な回答を与える。 我々の逆向きに訓練されたモデルは、生成されたデータのみを使用してRobustBench上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-09T13:46:42Z)
• Towards Alternative Techniques for Improving Adversarial Robustness: Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
  逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。 私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。 ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
  論文  参考訳（メタデータ） (2022-06-13T22:01:21Z)
• SmoothNets: Optimizing CNN architecture design for differentially private deep learning [69.10072367807095]
  DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。 これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。 SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
  論文  参考訳（メタデータ） (2022-05-09T07:51:54Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Improving Robustness using Generated Data [20.873767830152605]
  オリジナルトレーニングセットのみにトレーニングされた生成モデルは、オリジナルトレーニングセットのサイズを人工的に拡大するために利用することができる。 従来の最先端手法と比較して,ロバストな精度で絶対的な改善が見られた。
  論文  参考訳（メタデータ） (2021-10-18T17:00:26Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)
• Fixing Data Augmentation to Improve Adversarial Robustness [21.485435979018256]
  相手のトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。 本稿では,強固な過剰フィッティングを減らす手段として,adversarials-drivenとdata-driven additionationの両方に注目した。 従来の最先端手法に比べて,+7.06%と+5.88%の絶対値が大幅に向上した。
  論文  参考訳（メタデータ） (2021-03-02T18:58:33Z)
• Uncovering the Limits of Adversarial Training against Norm-Bounded Adversarial Examples [47.27255244183513]
  本研究では, 異なるトレーニング損失, モデルサイズ, アクティベーション機能, ラベルなしデータの付加(擬似ラベル付け)などの要因が, 相手の強靭性に及ぼす影響について検討した。 我々は、より大きなモデル、Swish/SiLUアクティベーションとモデルウェイト平均化を組み合わせることで、最先端の成果をはるかに超えるロバストモデルをトレーニングできることを発見した。
  論文  参考訳（メタデータ） (2020-10-07T18:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。