論文の概要: Improving Robustness using Generated Data

• arxiv url: http://arxiv.org/abs/2110.09468v1
• Date: Mon, 18 Oct 2021 17:00:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 13:23:12.508678
• Title: Improving Robustness using Generated Data
• Title（参考訳）: 生成データによるロバスト性の向上
• Authors: Sven Gowal, Sylvestre-Alvise Rebuffi, Olivia Wiles, Florian Stimberg, Dan Andrei Calian, Timothy Mann
• Abstract要約: オリジナルトレーニングセットのみにトレーニングされた生成モデルは、オリジナルトレーニングセットのサイズを人工的に拡大するために利用することができる。 従来の最先端手法と比較して,ロバストな精度で絶対的な改善が見られた。
• 参考スコア（独自算出の注目度）: 20.873767830152605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work argues that robust training requires substantially larger datasets than those required for standard classification. On CIFAR-10 and CIFAR-100, this translates into a sizable robust-accuracy gap between models trained solely on data from the original training set and those trained with additional data extracted from the "80 Million Tiny Images" dataset (TI-80M). In this paper, we explore how generative models trained solely on the original training set can be leveraged to artificially increase the size of the original training set and improve adversarial robustness to $\ell_p$ norm-bounded perturbations. We identify the sufficient conditions under which incorporating additional generated data can improve robustness, and demonstrate that it is possible to significantly reduce the robust-accuracy gap to models trained with additional real data. Surprisingly, we even show that even the addition of non-realistic random data (generated by Gaussian sampling) can improve robustness. We evaluate our approach on CIFAR-10, CIFAR-100, SVHN and TinyImageNet against $\ell_\infty$ and $\ell_2$ norm-bounded perturbations of size $\epsilon = 8/255$ and $\epsilon = 128/255$, respectively. We show large absolute improvements in robust accuracy compared to previous state-of-the-art methods. Against $\ell_\infty$ norm-bounded perturbations of size $\epsilon = 8/255$, our models achieve 66.10% and 33.49% robust accuracy on CIFAR-10 and CIFAR-100, respectively (improving upon the state-of-the-art by +8.96% and +3.29%). Against $\ell_2$ norm-bounded perturbations of size $\epsilon = 128/255$, our model achieves 78.31% on CIFAR-10 (+3.81%). These results beat most prior works that use external data.
• Abstract（参考訳）: 最近の研究は、堅牢なトレーニングは標準分類に必要なデータセットよりもはるかに大きなデータセットを必要とすると主張している。 CIFAR-10とCIFAR-100では、オリジナルのトレーニングセットのデータのみに基づいてトレーニングされたモデルと、"80 Million Tiny Images"データセット(TI-80M)から抽出された追加データでトレーニングされたモデルの間に、大きな堅牢な精度のギャップが生じる。 本稿では,オリジナルトレーニングセットのみにトレーニングされた生成モデルを用いて,オリジナルトレーニングセットのサイズを人工的に向上し,対向ロバスト性を向上させる方法について検討する。 生成したデータを追加することでロバスト性を向上できる十分な条件を特定し、実データを追加するモデルに対するロバスト-精度ギャップを著しく低減できることを示す。 驚くべきことに、非現実的ランダムデータ(ガウスサンプリングによって生成される)を付加してもロバスト性は向上する。 我々は, CIFAR-10, CIFAR-100, SVHN, TinyImageNetにおける, $\ell_\infty$ と $\ell_2$ の標準有界摂動に対して, $\epsilon = 8/255$ と $\epsilon = 128/255$ をそれぞれ評価した。 従来の最先端手法に比べてロバスト精度が大幅に向上した。 標準値$\ell_\infty$ $\epsilon = 8/255$に対して、我々のモデルはCIFAR-10とCIFAR-100でそれぞれ66.10%と33.49%の堅牢な精度を達成する(+8.96%、+3.29%)。 CIFAR-10(+3.81%)では、$\ell_2$ 標準束縛されたサイズ $\epsilon = 128/255$に対して、我々のモデルは78.31%に達する。 これらの結果は、外部データを使用する以前の作業の多くを上回ります。

関連論文リスト

• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• Better Diffusion Models Further Improve Adversarial Training [97.44991845907708]
  拡散確率モデル (DDPM) によって生成されたデータは, 対人訓練を改善することが認識されている。 本稿では,効率のよい最新の拡散モデルを用いて,肯定的な回答を与える。 我々の逆向きに訓練されたモデルは、生成されたデータのみを使用してRobustBench上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-09T13:46:42Z)
• Not All Models Are Equal: Predicting Model Transferability in a Self-challenging Fisher Space [51.62131362670815]
  本稿では、トレーニング済みのディープニューラルネットワークのランク付けと、下流タスクにおける最も転送可能なニューラルネットワークのスクリーニングの問題に対処する。 textbfSelf-challenging textbfFisher textbfDiscriminant textbfAnalysis (textbfSFDA)と呼ばれる新しい転送可能性指標を提案する。
  論文  参考訳（メタデータ） (2022-07-07T01:33:25Z)
• Removing Batch Normalization Boosts Adversarial Training [83.08844497295148]
  敵の訓練(AT)は、敵の攻撃に対して深層ニューラルネットワークを防御する。 主なボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。 我々のNoFrost法は, 正規化自由ネットワークの最近の進歩をATに拡張する。
  論文  参考訳（メタデータ） (2022-07-04T01:39:37Z)
• Data Augmentation Can Improve Robustness [21.485435979018256]
  アドリアルトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。 モデルウェイト平均化と組み合わせることで、データの増大がロバストな精度を大幅に向上させることを示した。 特に、$ell_infty$ 標準束縛されたサイズ $epsilon = 8/255$ の摂動に対して、我々のモデルは外部データを使わずに60.07%の堅牢な精度に達する。
  論文  参考訳（メタデータ） (2021-11-09T18:57:00Z)
• Fixing Data Augmentation to Improve Adversarial Robustness [21.485435979018256]
  相手のトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。 本稿では,強固な過剰フィッティングを減らす手段として,adversarials-drivenとdata-driven additionationの両方に注目した。 従来の最先端手法に比べて,+7.06%と+5.88%の絶対値が大幅に向上した。
  論文  参考訳（メタデータ） (2021-03-02T18:58:33Z)
• Learnable Boundary Guided Adversarial Training [66.57846365425598]
  私たちは、あるクリーンモデルからのモデルロジットを使用して、別のロバストモデルの学習をガイドします。 我々は、CIFAR-100上で、追加の実データや合成データなしで、新しい最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2020-11-23T01:36:05Z)
• Uncovering the Limits of Adversarial Training against Norm-Bounded Adversarial Examples [47.27255244183513]
  本研究では, 異なるトレーニング損失, モデルサイズ, アクティベーション機能, ラベルなしデータの付加(擬似ラベル付け)などの要因が, 相手の強靭性に及ぼす影響について検討した。 我々は、より大きなモデル、Swish/SiLUアクティベーションとモデルウェイト平均化を組み合わせることで、最先端の成果をはるかに超えるロバストモデルをトレーニングできることを発見した。
  論文  参考訳（メタデータ） (2020-10-07T18:19:09Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。