論文の概要: Towards Universal Certified Robustness with Multi-Norm Training
- arxiv url: http://arxiv.org/abs/2410.03000v2
- Date: Fri, 31 Jan 2025 17:12:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-03 13:59:13.089094
- Title: Towards Universal Certified Robustness with Multi-Norm Training
- Title（参考訳）: ユニバーサル認定ロバストネスをめざして
- Authors: Enyi Jiang, David S. Cheung, Gagandeep Singh,
- Abstract要約: 既存の訓練方法は、特定の摂動タイプに対して堅牢なモデルをトレーニングするのみである。
我々は,複数のマルチノーム認定トレーニング手法からなる,最初のマルチノーム認定トレーニングフレームワーク textbfCURE を提案する。
- 参考スコア（独自算出の注目度）: 3.833933552211237
- License:
- Abstract: Existing certified training methods can only train models to be robust against a certain perturbation type (e.g. $l_\infty$ or $l_2$). However, an $l_\infty$ certifiably robust model may not be certifiably robust against $l_2$ perturbation (and vice versa) and also has low robustness against other perturbations (e.g. geometric and patch transformation). By constructing a theoretical framework to analyze and mitigate the tradeoff, we propose the first multi-norm certified training framework \textbf{CURE}, consisting of several multi-norm certified training methods, to attain better \emph{union robustness} when training from scratch or fine-tuning a pre-trained certified model. Inspired by our theoretical findings, we devise bound alignment and connect natural training with certified training for better union robustness. Compared with SOTA-certified training, \textbf{CURE} improves union robustness to $32.0\%$ on MNIST, $25.8\%$ on CIFAR-10, and $10.6\%$ on TinyImagenet across different epsilon values. It leads to better generalization on a diverse set of challenging unseen geometric and patch perturbations to $6.8\%$ and $16.0\%$ on CIFAR-10. Overall, our contributions pave a path towards \textit{universal certified robustness}.
- Abstract（参考訳）: 既存の訓練方法は、ある摂動タイプ(例えば $l_\infty$ または $l_2$)に対して頑健なモデルしか訓練できない。
しかし、$l_\infty$ certifiably robust model は $l_2$ 摂動に対して強固でない(逆もまた)し、他の摂動に対して強固でない(例えば幾何変換やパッチ変換)。
トレードオフを解析・緩和する理論的枠組みを構築することにより,複数のマルチノーム認定トレーニング手法からなる,最初のマルチノーム認定トレーニングフレームワーク \textbf{CURE} を提案する。
理論的な知見から着想を得た結果,我々はアライメントの整合性を考案し,自然訓練と認定トレーニングを結びつけて,より良好なユニオンロバスト性を実現することができた。
SOTA認定トレーニングと比較すると、 \textbf{CURE}は組合のロバスト性をMNISTで$32.0\%、CIFAR-10で$25.8\%、TinyImagenetで$10.6\%に改善している。
CIFAR-10では、様々な難解な幾何学的およびパッチの摂動を6.8 %$と16.0 %$に一般化する。
全体として、私たちのコントリビューションは、‘textit{Universal certified robustness}’への道を開くものです。
関連論文リスト
- RAMP: Boosting Adversarial Robustness Against Multiple $l_p$ Perturbations for Universal Robustness [4.188296977882316]
我々は、複数の$l_p$摂動に対するロバスト性を高めるための新しいトレーニングフレームワーク textbfRAMP を提案する。
スクラッチからトレーニングするために、 textbfRAMP は44.6%のユニオン精度と、CIFAR-10 の AutoAttack に対して ResNet-18 で 811.2% のクリーン精度を達成している。
論文 参考訳（メタデータ） (2024-02-09T23:29:54Z) - Raising the Bar for Certified Adversarial Robustness with Diffusion
Models [9.684141378657522]
本研究では,同様のアプローチが決定論的証明された防御を著しく改善できることを実証する。
主な洞察の1つは、元のモデルのトレーニングとテストの精度の違いは、改善の規模を予測できることです。
提案手法は,CIFAR-10 上で $ell$ ($epsilon = 36/255$) および $ell_infty$ ($epsilon = 8/255$) 脅威モデルに対して,最先端の決定論的堅牢性証明を実現する。
論文 参考訳（メタデータ） (2023-05-17T17:29:10Z) - TAPS: Connecting Certified and Adversarial Training [6.688598900034783]
TAPSはIPPとPGDを併用して、必ずしも音質の悪い損失近似を行うわけではないが、精度の高いトレーニング手法である。
TAPSは多くの設定で新しい最先端を実現しており、例えばTinyImageNetでは22%の精度で認証されている。
論文 参考訳（メタデータ） (2023-05-08T09:32:05Z) - Sparsity Winning Twice: Better Robust Generalization from More Efficient
Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。
いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。
我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文 参考訳（メタデータ） (2022-02-20T15:52:08Z) - Boosting Certified $\ell_\infty$ Robustness with EMA Method and Ensemble
Model [0.0]
本稿では,$ell_infty$-normニューラルネットワークのトレーニングプロセスを改善するためのEMA法を提案する。
トレーニングアルゴリズムのランダム性を考慮して,1ドルのLipschitz特性を持つトレーニングベースモデルに基づくアンサンブル手法を提案する。
証明されたロバスト性に基づく1ドルのLipschitz特性に基づくアンサンブル法の理論解析を行い、アルゴリズムの有効性と安定性を保証する。
論文 参考訳（メタデータ） (2021-07-01T06:01:12Z) - Robustifying $\ell_\infty$ Adversarial Training to the Union of
Perturbation Models [120.71277007016708]
我々は、広く普及しているシングルアタック$ell_infty$ ATフレームワークの機能を拡張する。
我々の手法はSNAP(Noss Augmented Processing)と呼ばれ、単一攻撃ATフレームワークの優れた副産物を利用する。
SNAPは、標準的なシングルアタックATを用いて、ネットワークパラメータとともに分布を学習する形状のノイズ増強層を持つ、与えられたディープネットをプリペイドする。
論文 参考訳（メタデータ） (2021-05-31T05:18:42Z) - Adversarial robustness against multiple $l_p$-threat models at the price
of one and how to quickly fine-tune robust models to another threat model [79.05253587566197]
対向的堅牢性を実現するために, 対向的トレーニング (AT) を単一$l_p$-threatモデルで行うことが広く議論されている。
本稿では,$l_p$-threatモデルの結合に対する対角的ロバスト性を実現するための,シンプルで効率的なトレーニング手法を開発する。
論文 参考訳（メタデータ） (2021-05-26T12:20:47Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness
and Accuracy for Free [115.81899803240758]
敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。
本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。
提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
論文 参考訳（メタデータ） (2020-10-22T16:06:34Z) - Fast is better than free: Revisiting adversarial training [86.11788847990783]
より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。
我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
論文 参考訳（メタデータ） (2020-01-12T20:30:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。