論文の概要: Uncovering the Limits of Adversarial Training against Norm-Bounded
Adversarial Examples
- arxiv url: http://arxiv.org/abs/2010.03593v3
- Date: Tue, 30 Mar 2021 08:08:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 21:52:38.177484
- Title: Uncovering the Limits of Adversarial Training against Norm-Bounded
Adversarial Examples
- Title（参考訳）: ノルム境界における対人訓練の限界を明らかにする
- Authors: Sven Gowal, Chongli Qin, Jonathan Uesato, Timothy Mann, Pushmeet Kohli
- Abstract要約: 本研究では, 異なるトレーニング損失, モデルサイズ, アクティベーション機能, ラベルなしデータの付加(擬似ラベル付け)などの要因が, 相手の強靭性に及ぼす影響について検討した。
我々は、より大きなモデル、Swish/SiLUアクティベーションとモデルウェイト平均化を組み合わせることで、最先端の成果をはるかに超えるロバストモデルをトレーニングできることを発見した。
- 参考スコア（独自算出の注目度）: 47.27255244183513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training and its variants have become de facto standards for
learning robust deep neural networks. In this paper, we explore the landscape
around adversarial training in a bid to uncover its limits. We systematically
study the effect of different training losses, model sizes, activation
functions, the addition of unlabeled data (through pseudo-labeling) and other
factors on adversarial robustness. We discover that it is possible to train
robust models that go well beyond state-of-the-art results by combining larger
models, Swish/SiLU activations and model weight averaging. We demonstrate large
improvements on CIFAR-10 and CIFAR-100 against $\ell_\infty$ and $\ell_2$
norm-bounded perturbations of size $8/255$ and $128/255$, respectively. In the
setting with additional unlabeled data, we obtain an accuracy under attack of
65.88% against $\ell_\infty$ perturbations of size $8/255$ on CIFAR-10 (+6.35%
with respect to prior art). Without additional data, we obtain an accuracy
under attack of 57.20% (+3.46%). To test the generality of our findings and
without any additional modifications, we obtain an accuracy under attack of
80.53% (+7.62%) against $\ell_2$ perturbations of size $128/255$ on CIFAR-10,
and of 36.88% (+8.46%) against $\ell_\infty$ perturbations of size $8/255$ on
CIFAR-100. All models are available at
https://github.com/deepmind/deepmind-research/tree/master/adversarial_robustness.
- Abstract（参考訳）: adversarial trainingとその変種は、堅牢なディープニューラルネットワークを学ぶためのデファクトスタンダードになっている。
本稿では,その限界を明らかにするために,敵対的訓練に関する景観を考察する。
異なるトレーニング損失,モデルサイズ,アクティベーション関数,(擬似ラベルによる)ラベルなしデータの追加,および他の要因が敵対的ロバスト性に及ぼす影響を体系的に検討した。
我々は、より大きなモデル、Swish/SiLUアクティベーションとモデルウェイト平均化を組み合わせることで、最先端の成果をはるかに超えるロバストモデルをトレーニングできることを発見した。
CIFAR-10 と CIFAR-100 は,それぞれ$\ell_\infty$ と $\ell_2$ の標準有界摂動に対して 8/255$ と $128/255$ に対して大きく改善されている。
追加のラベルのないデータで設定すると、cifar-10(以前の技術では+6.35%)で$\ell_\infty$の摂動に対して65.88%の精度で攻撃できる。
追加データなしでは57.20%(+3.46%)の精度が得られる。
以上の結果の汎用性を検証し,さらに修正を加えることなく,cifar-10で$\ell_2$摂動に対して80.53% (+7.62%),cifar-100で$28/255$,$\ell_\infty$摂動に対して36.88% (+8.46%) の精度を得た。
すべてのモデルはhttps://github.com/deepmind/deepmind-research/tree/master/adversarial_robustnessで利用可能だ。
関連論文リスト
- Adversarial Robustness Limits via Scaling-Law and Human-Alignment Studies [19.100334346597982]
モデルサイズ,データセットサイズ,合成データ品質が,対戦型トレーニングのための最初のスケーリング法則を開発することにより,ロバスト性にどのように影響するかを分析する。
我々のスケーリング法則は、先行技術における非効率性を明らかにし、現場を前進させるための実用的なフィードバックを提供する。
論文 参考訳（メタデータ） (2024-04-14T20:14:38Z) - Better Diffusion Models Further Improve Adversarial Training [97.44991845907708]
拡散確率モデル (DDPM) によって生成されたデータは, 対人訓練を改善することが認識されている。
本稿では,効率のよい最新の拡散モデルを用いて,肯定的な回答を与える。
我々の逆向きに訓練されたモデルは、生成されたデータのみを使用してRobustBench上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-02-09T13:46:42Z) - Removing Batch Normalization Boosts Adversarial Training [83.08844497295148]
敵の訓練(AT)は、敵の攻撃に対して深層ニューラルネットワークを防御する。
主なボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。
我々のNoFrost法は, 正規化自由ネットワークの最近の進歩をATに拡張する。
論文 参考訳（メタデータ） (2022-07-04T01:39:37Z) - Data Augmentation Can Improve Robustness [21.485435979018256]
アドリアルトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。
モデルウェイト平均化と組み合わせることで、データの増大がロバストな精度を大幅に向上させることを示した。
特に、$ell_infty$ 標準束縛されたサイズ $epsilon = 8/255$ の摂動に対して、我々のモデルは外部データを使わずに60.07%の堅牢な精度に達する。
論文 参考訳（メタデータ） (2021-11-09T18:57:00Z) - Improving Robustness using Generated Data [20.873767830152605]
オリジナルトレーニングセットのみにトレーニングされた生成モデルは、オリジナルトレーニングセットのサイズを人工的に拡大するために利用することができる。
従来の最先端手法と比較して,ロバストな精度で絶対的な改善が見られた。
論文 参考訳（メタデータ） (2021-10-18T17:00:26Z) - Robustifying $\ell_\infty$ Adversarial Training to the Union of
Perturbation Models [120.71277007016708]
我々は、広く普及しているシングルアタック$ell_infty$ ATフレームワークの機能を拡張する。
我々の手法はSNAP(Noss Augmented Processing)と呼ばれ、単一攻撃ATフレームワークの優れた副産物を利用する。
SNAPは、標準的なシングルアタックATを用いて、ネットワークパラメータとともに分布を学習する形状のノイズ増強層を持つ、与えられたディープネットをプリペイドする。
論文 参考訳（メタデータ） (2021-05-31T05:18:42Z) - Adversarial robustness against multiple $l_p$-threat models at the price
of one and how to quickly fine-tune robust models to another threat model [79.05253587566197]
対向的堅牢性を実現するために, 対向的トレーニング (AT) を単一$l_p$-threatモデルで行うことが広く議論されている。
本稿では,$l_p$-threatモデルの結合に対する対角的ロバスト性を実現するための,シンプルで効率的なトレーニング手法を開発する。
論文 参考訳（メタデータ） (2021-05-26T12:20:47Z) - Fixing Data Augmentation to Improve Adversarial Robustness [21.485435979018256]
相手のトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。
本稿では,強固な過剰フィッティングを減らす手段として,adversarials-drivenとdata-driven additionationの両方に注目した。
従来の最先端手法に比べて,+7.06%と+5.88%の絶対値が大幅に向上した。
論文 参考訳（メタデータ） (2021-03-02T18:58:33Z) - To be Robust or to be Fair: Towards Fairness in Adversarial Training [83.42241071662897]
逆行訓練アルゴリズムは、異なるデータ群間の精度と堅牢性に深刻な違いをもたらす傾向がある。
本稿では、敵防衛を行う際の不公平問題を軽減するためのFair-Robust-Learning(FRL)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-13T02:21:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。