論文の概要: Fixing Data Augmentation to Improve Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2103.01946v1
• Date: Tue, 2 Mar 2021 18:58:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 17:08:49.213470
• Title: Fixing Data Augmentation to Improve Adversarial Robustness
• Title（参考訳）: 対向ロバスト性を改善するためのデータ拡張
• Authors: Sylvestre-Alvise Rebuffi, Sven Gowal, Dan A. Calian, Florian Stimberg, Olivia Wiles, Timothy Mann
• Abstract要約: 相手のトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。 本稿では,強固な過剰フィッティングを減らす手段として,adversarials-drivenとdata-driven additionationの両方に注目した。 従来の最先端手法に比べて,+7.06%と+5.88%の絶対値が大幅に向上した。
• 参考スコア（独自算出の注目度）: 21.485435979018256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training suffers from robust overfitting, a phenomenon where the robust test accuracy starts to decrease during training. In this paper, we focus on both heuristics-driven and data-driven augmentations as a means to reduce robust overfitting. First, we demonstrate that, contrary to previous findings, when combined with model weight averaging, data augmentation can significantly boost robust accuracy. Second, we explore how state-of-the-art generative models can be leveraged to artificially increase the size of the training set and further improve adversarial robustness. Finally, we evaluate our approach on CIFAR-10 against $\ell_\infty$ and $\ell_2$ norm-bounded perturbations of size $\epsilon = 8/255$ and $\epsilon = 128/255$, respectively. We show large absolute improvements of +7.06% and +5.88% in robust accuracy compared to previous state-of-the-art methods. In particular, against $\ell_\infty$ norm-bounded perturbations of size $\epsilon = 8/255$, our model reaches 64.20% robust accuracy without using any external data, beating most prior works that use external data.
• Abstract（参考訳）: 相手のトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。 本稿では,ロバストなオーバーフィッティングを減らす手段として,ヒューリスティックス駆動とデータ駆動の強化に焦点をあてる。 まず, 従来の結果とは対照的に, モデル重量平均化と組み合わせることで, データの増大がロバストな精度を著しく向上させることを示した。 第2に,最先端生成モデルを活用してトレーニングセットのサイズを人工的に拡大し,さらに敵対的ロバスト性を向上させる方法について検討する。 最後に, CIFAR-10 に対する $\ell_\infty$ と $\ell_2$ サイズ $\epsilon = 8/255$ と $\epsilon = 128/255$ に対するアプローチを評価した。 従来の最先端手法に比べて,+7.06%と+5.88%の絶対値が大幅に向上した。 特に、サイズが$\epsilon = 8/255$の$\ell_\infty$ノルムバウンドの摂動に対して、我々のモデルは、外部データを用いずに64.20%の堅牢な精度に達し、外部データを使用するほとんどの先行処理を上回っています。

関連論文リスト

• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Breaking Boundaries: Balancing Performance and Robustness in Deep Wireless Traffic Forecasting [11.029214459961114]
  正確性と堅牢性の間のトレードオフのバランスをとることは、時系列予測における長年の課題である。 本研究では,様々な摂動シナリオを考察し,実世界の通信データを用いた敵攻撃に対する防御機構を提案する。
  論文  参考訳（メタデータ） (2023-11-16T11:10:38Z)
• Better Diffusion Models Further Improve Adversarial Training [97.44991845907708]
  拡散確率モデル (DDPM) によって生成されたデータは, 対人訓練を改善することが認識されている。 本稿では,効率のよい最新の拡散モデルを用いて,肯定的な回答を与える。 我々の逆向きに訓練されたモデルは、生成されたデータのみを使用してRobustBench上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-09T13:46:42Z)
• Towards Alternative Techniques for Improving Adversarial Robustness: Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
  逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。 私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。 ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
  論文  参考訳（メタデータ） (2022-06-13T22:01:21Z)
• Data Augmentation Can Improve Robustness [21.485435979018256]
  アドリアルトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。 モデルウェイト平均化と組み合わせることで、データの増大がロバストな精度を大幅に向上させることを示した。 特に、$ell_infty$ 標準束縛されたサイズ $epsilon = 8/255$ の摂動に対して、我々のモデルは外部データを使わずに60.07%の堅牢な精度に達する。
  論文  参考訳（メタデータ） (2021-11-09T18:57:00Z)
• Improving Robustness using Generated Data [20.873767830152605]
  オリジナルトレーニングセットのみにトレーニングされた生成モデルは、オリジナルトレーニングセットのサイズを人工的に拡大するために利用することができる。 従来の最先端手法と比較して,ロバストな精度で絶対的な改善が見られた。
  論文  参考訳（メタデータ） (2021-10-18T17:00:26Z)
• Guided Interpolation for Adversarial Training [73.91493448651306]
  トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。 本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。 バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
  論文  参考訳（メタデータ） (2021-02-15T03:55:08Z)
• Uncovering the Limits of Adversarial Training against Norm-Bounded Adversarial Examples [47.27255244183513]
  本研究では, 異なるトレーニング損失, モデルサイズ, アクティベーション機能, ラベルなしデータの付加(擬似ラベル付け)などの要因が, 相手の強靭性に及ぼす影響について検討した。 我々は、より大きなモデル、Swish/SiLUアクティベーションとモデルウェイト平均化を組み合わせることで、最先端の成果をはるかに超えるロバストモデルをトレーニングできることを発見した。
  論文  参考訳（メタデータ） (2020-10-07T18:19:09Z)
• Geometry-aware Instance-reweighted Adversarial Training [78.70024866515756]
  敵対的機械学習では、堅牢性と正確性がお互いを傷つけるという共通の信念があった。 本稿では,自然データ点の攻撃がいかに難しいかに基づいて,幾何対応のインスタンス再重み付き対向訓練を提案する。 実験の結果,本提案は標準的な対人訓練の堅牢性を高めることが示唆された。
  論文  参考訳（メタデータ） (2020-10-05T01:33:11Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。