論文の概要: Towards Universal Certified Robustness with Multi-Norm Training
- arxiv url: http://arxiv.org/abs/2410.03000v1
- Date: Thu, 3 Oct 2024 21:20:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-03 04:35:40.321064
- Title: Towards Universal Certified Robustness with Multi-Norm Training
- Title（参考訳）: ユニバーサル認定ロバストネスをめざして
- Authors: Enyi Jiang, Gagandeep Singh,
- Abstract要約: 既存の訓練方法は、特定の摂動タイプに対して堅牢なモデルをトレーニングするのみである。
我々は、新しい$l$決定論的認定トレーニングディフェンスからなる、最初のマルチノーム認定トレーニングフレームワーク textbfCURE を提案する。
SOTAの認定トレーニングと比較すると、textbfCUREはMNISTで22.8%、CIFAR-10で23.9%、TinyImagenetで8.0%のロバスト性を向上している。
- 参考スコア（独自算出の注目度）: 4.188296977882316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing certified training methods can only train models to be robust against a certain perturbation type (e.g. $l_\infty$ or $l_2$). However, an $l_\infty$ certifiably robust model may not be certifiably robust against $l_2$ perturbation (and vice versa) and also has low robustness against other perturbations (e.g. geometric transformation). To this end, we propose the first multi-norm certified training framework \textbf{CURE}, consisting of a new $l_2$ deterministic certified training defense and several multi-norm certified training methods, to attain better \emph{union robustness} when training from scratch or fine-tuning a pre-trained certified model. Further, we devise bound alignment and connect natural training with certified training for better union robustness. Compared with SOTA certified training, \textbf{CURE} improves union robustness up to $22.8\%$ on MNIST, $23.9\%$ on CIFAR-10, and $8.0\%$ on TinyImagenet. Further, it leads to better generalization on a diverse set of challenging unseen geometric perturbations, up to $6.8\%$ on CIFAR-10. Overall, our contributions pave a path towards \textit{universal certified robustness}.
- Abstract（参考訳）: 既存の訓練方法は、ある摂動タイプ(例えば $l_\infty$ または $l_2$)に対して頑健なモデルしか訓練できない。
しかし、$l_\infty$ certifiably robust model は $l_2$ 摂動に対して強固でない(逆もまた)し、他の摂動に対して強固でない(例えば幾何変換)。
そこで本研究では,新たに$l2$の決定論的認定トレーニングディフェンスと,複数のマルチノーム認定トレーニングメソッドからなる,最初のマルチノーム認定トレーニングフレームワークである \textbf{CURE} を提案し,スクラッチからトレーニングを行ったり,事前訓練された認定モデルの微調整を行う際に,より優れたemph{union robustness} を実現する。
さらに, 境界アライメントを考案し, 自然訓練と認定トレーニングを結びつけることにより, 団結の堅牢性を向上する。
SOTA認定トレーニングと比較すると、 \textbf{CURE} はMNISTで22.8 %、CIFAR-10で23.9 %、TinyImagenetで8.0 %まで、組合のロバスト性を改善している。
さらに、これは、CIFAR-10で最大6.8\%の難解な幾何学的摂動の多様な集合をより一般化する。
全体として、私たちのコントリビューションは、‘textit{Universal certified robustness}’への道を開くものです。
関連論文リスト
- RAMP: Boosting Adversarial Robustness Against Multiple $l_p$ Perturbations for Universal Robustness [4.188296977882316]
我々は、複数の$l_p$摂動に対するロバスト性を高めるための新しいトレーニングフレームワーク textbfRAMP を提案する。
スクラッチからトレーニングするために、 textbfRAMP は44.6%のユニオン精度と、CIFAR-10 の AutoAttack に対して ResNet-18 で 811.2% のクリーン精度を達成している。
論文 参考訳（メタデータ） (2024-02-09T23:29:54Z) - Raising the Bar for Certified Adversarial Robustness with Diffusion
Models [9.684141378657522]
本研究では,同様のアプローチが決定論的証明された防御を著しく改善できることを実証する。
主な洞察の1つは、元のモデルのトレーニングとテストの精度の違いは、改善の規模を予測できることです。
提案手法は,CIFAR-10 上で $ell$ ($epsilon = 36/255$) および $ell_infty$ ($epsilon = 8/255$) 脅威モデルに対して,最先端の決定論的堅牢性証明を実現する。
論文 参考訳（メタデータ） (2023-05-17T17:29:10Z) - TAPS: Connecting Certified and Adversarial Training [6.688598900034783]
TAPSはIPPとPGDを併用して、必ずしも音質の悪い損失近似を行うわけではないが、精度の高いトレーニング手法である。
TAPSは多くの設定で新しい最先端を実現しており、例えばTinyImageNetでは22%の精度で認証されている。
論文 参考訳（メタデータ） (2023-05-08T09:32:05Z) - Sparsity Winning Twice: Better Robust Generalization from More Efficient
Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。
いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。
我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文 参考訳（メタデータ） (2022-02-20T15:52:08Z) - Boosting Certified $\ell_\infty$ Robustness with EMA Method and Ensemble
Model [0.0]
本稿では,$ell_infty$-normニューラルネットワークのトレーニングプロセスを改善するためのEMA法を提案する。
トレーニングアルゴリズムのランダム性を考慮して,1ドルのLipschitz特性を持つトレーニングベースモデルに基づくアンサンブル手法を提案する。
証明されたロバスト性に基づく1ドルのLipschitz特性に基づくアンサンブル法の理論解析を行い、アルゴリズムの有効性と安定性を保証する。
論文 参考訳（メタデータ） (2021-07-01T06:01:12Z) - Robustifying $\ell_\infty$ Adversarial Training to the Union of
Perturbation Models [120.71277007016708]
我々は、広く普及しているシングルアタック$ell_infty$ ATフレームワークの機能を拡張する。
我々の手法はSNAP(Noss Augmented Processing)と呼ばれ、単一攻撃ATフレームワークの優れた副産物を利用する。
SNAPは、標準的なシングルアタックATを用いて、ネットワークパラメータとともに分布を学習する形状のノイズ増強層を持つ、与えられたディープネットをプリペイドする。
論文 参考訳（メタデータ） (2021-05-31T05:18:42Z) - Adversarial robustness against multiple $l_p$-threat models at the price
of one and how to quickly fine-tune robust models to another threat model [79.05253587566197]
対向的堅牢性を実現するために, 対向的トレーニング (AT) を単一$l_p$-threatモデルで行うことが広く議論されている。
本稿では,$l_p$-threatモデルの結合に対する対角的ロバスト性を実現するための,シンプルで効率的なトレーニング手法を開発する。
論文 参考訳（メタデータ） (2021-05-26T12:20:47Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness
and Accuracy for Free [115.81899803240758]
敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。
本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。
提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
論文 参考訳（メタデータ） (2020-10-22T16:06:34Z) - Fast is better than free: Revisiting adversarial training [86.11788847990783]
より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。
我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
論文 参考訳（メタデータ） (2020-01-12T20:30:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。