論文の概要: RAMP: Boosting Adversarial Robustness Against Multiple $l_p$ Perturbations for Universal Robustness
- arxiv url: http://arxiv.org/abs/2402.06827v2
- Date: Sat, 21 Sep 2024 03:57:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 04:54:55.567179
- Title: RAMP: Boosting Adversarial Robustness Against Multiple $l_p$ Perturbations for Universal Robustness
- Title（参考訳）: RAMP:Universal Robustnessに対する複数の$l_p$摂動に対する対向ロバスト性を高める
- Authors: Enyi Jiang, Gagandeep Singh,
- Abstract要約: 我々は、複数の$l_p$摂動に対するロバスト性を高めるための新しいトレーニングフレームワーク textbfRAMP を提案する。
スクラッチからトレーニングするために、 textbfRAMP は44.6%のユニオン精度と、CIFAR-10 の AutoAttack に対して ResNet-18 で 811.2% のクリーン精度を達成している。
- 参考スコア（独自算出の注目度）: 4.188296977882316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing works focus on improving robustness against adversarial attacks bounded by a single $l_p$ norm using adversarial training (AT). However, these AT models' multiple-norm robustness (union accuracy) is still low, which is crucial since in the real-world an adversary is not necessarily bounded by a single norm. The tradeoffs among robustness against multiple $l_p$ perturbations and accuracy/robustness make obtaining good union and clean accuracy challenging. We design a logit pairing loss to improve the union accuracy by analyzing the tradeoffs from the lens of distribution shifts. We connect natural training (NT) with AT via gradient projection, to incorporate useful information from NT into AT, where we empirically and theoretically show it moderates the accuracy/robustness tradeoff. We propose a novel training framework \textbf{RAMP}, to boost the robustness against multiple $l_p$ perturbations. \textbf{RAMP} can be easily adapted for robust fine-tuning and full AT. For robust fine-tuning, \textbf{RAMP} obtains a union accuracy up to $53.3\%$ on CIFAR-10, and $29.1\%$ on ImageNet. For training from scratch, \textbf{RAMP} achieves a union accuracy of $44.6\%$ and good clean accuracy of $81.2\%$ on ResNet-18 against AutoAttack on CIFAR-10. Beyond multi-norm robustness \textbf{RAMP}-trained models achieve superior \textit{universal robustness}, effectively generalizing against a range of unseen adversaries and natural corruptions.
- Abstract（参考訳）: 既存のほとんどの研究は、敵の攻撃に対する堅牢性の改善に重点を置いており、敵の訓練(AT)を用いて1ドル=l_p$ノルムで縛られている。
しかし、これらのATモデルの多重ノルムロバスト性(ユニオン精度)は依然として低く、現実世界では、敵が必ずしも単一のノルムに縛られるとは限らないため、非常に重要である。
複数の$l_p$摂動に対するロバスト性と精度/ロバスト性の間のトレードオフは、良好な結合とクリーンな精度を得ることを困難にしている。
分配シフトのレンズからのトレードオフを分析することにより、結合精度を向上させるためにロジットペアリング損失を設計する。
我々は、NTからATに有用な情報を組み込むために、勾配投影を介して自然訓練(NT)とATを結びつける。
本稿では,複数の$l_p$摂動に対するロバスト性を高めるために,新しいトレーニングフレームワーク \textbf{RAMP} を提案する。
textbf{RAMP} は、頑健で完全なATに容易に適応できる。
堅牢な微調整のために、 \textbf{RAMP}は、CIFAR-10で最大53.3\%、ImageNetで最大29.1\%のユニオン精度を得る。
スクラッチからトレーニングするために、 \textbf{RAMP} は44.6\%$の結合精度と、CIFAR-10 の AutoAttack に対して ResNet-18 で81.2\%$のクリーン精度を達成している。
マルチノームロバストネス \textbf{RAMP}-トレーニングされたモデルは、より優れた \textit{universal robustness} を達成する。
関連論文リスト
- Towards Universal Certified Robustness with Multi-Norm Training [4.188296977882316]
既存の訓練方法は、特定の摂動タイプに対して堅牢なモデルをトレーニングするのみである。
我々は、新しい$l$決定論的認定トレーニングディフェンスからなる、最初のマルチノーム認定トレーニングフレームワーク textbfCURE を提案する。
SOTAの認定トレーニングと比較すると、textbfCUREはMNISTで22.8%、CIFAR-10で23.9%、TinyImagenetで8.0%のロバスト性を向上している。
論文 参考訳（メタデータ） (2024-10-03T21:20:46Z) - RUSH: Robust Contrastive Learning via Randomized Smoothing [31.717748554905015]
本稿では、対照的な事前学習がロバストネスと興味深いが暗黙の結びつきを持っているという驚くべき事実を示す。
我々は、標準的なコントラスト付き事前学習とランダムな平滑化を組み合わせた強力な対逆攻撃に対する堅牢なアルゴリズムRUSHを設計する。
我々の研究は、最先端技術と比較して、堅牢な精度が15%以上向上し、標準精度がわずかに改善されている。
論文 参考訳（メタデータ） (2022-07-11T18:45:14Z) - Removing Batch Normalization Boosts Adversarial Training [83.08844497295148]
敵の訓練(AT)は、敵の攻撃に対して深層ニューラルネットワークを防御する。
主なボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。
我々のNoFrost法は, 正規化自由ネットワークの最近の進歩をATに拡張する。
論文 参考訳（メタデータ） (2022-07-04T01:39:37Z) - Sparsity Winning Twice: Better Robust Generalization from More Efficient
Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。
いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。
我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文 参考訳（メタデータ） (2022-02-20T15:52:08Z) - Subspace Adversarial Training [24.47599337641455]
そこで本稿では,AT を慎重に抽出した部分空間に拘束する Sub-AT (subspace adversarial training) を提案する。
サブスペースでは、より大きなステップと大きな半径を持つシングルステップATが許容され、ロバスト性性能がさらに向上する。
われわれの純粋なシングルステップATは、CIFAR-10で8/255ドルという強力なPGD-50攻撃に対して、$mathbf51%以上の堅牢な精度に達することができる。
論文 参考訳（メタデータ） (2021-11-24T02:18:37Z) - Robustifying $\ell_\infty$ Adversarial Training to the Union of
Perturbation Models [120.71277007016708]
我々は、広く普及しているシングルアタック$ell_infty$ ATフレームワークの機能を拡張する。
我々の手法はSNAP(Noss Augmented Processing)と呼ばれ、単一攻撃ATフレームワークの優れた副産物を利用する。
SNAPは、標準的なシングルアタックATを用いて、ネットワークパラメータとともに分布を学習する形状のノイズ増強層を持つ、与えられたディープネットをプリペイドする。
論文 参考訳（メタデータ） (2021-05-31T05:18:42Z) - Adversarial robustness against multiple $l_p$-threat models at the price
of one and how to quickly fine-tune robust models to another threat model [79.05253587566197]
対向的堅牢性を実現するために, 対向的トレーニング (AT) を単一$l_p$-threatモデルで行うことが広く議論されている。
本稿では,$l_p$-threatモデルの結合に対する対角的ロバスト性を実現するための,シンプルで効率的なトレーニング手法を開発する。
論文 参考訳（メタデータ） (2021-05-26T12:20:47Z) - Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。
我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。
我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
論文 参考訳（メタデータ） (2020-12-25T13:35:02Z) - Toward Adversarial Robustness via Semi-supervised Robust Training [93.36310070269643]
アドリラルな例は、ディープニューラルネットワーク(DNN)に対する深刻な脅威であることが示されている。
R_stand$ と $R_rob$ の2つの異なるリスクを共同で最小化することで、新しい防御手法であるロバストトレーニング(RT)を提案する。
論文 参考訳（メタデータ） (2020-03-16T02:14:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。