論文の概要: Adversarial robustness against multiple $l_p$-threat models at the price of one and how to quickly fine-tune robust models to another threat model

• arxiv url: http://arxiv.org/abs/2105.12508v1
• Date: Wed, 26 May 2021 12:20:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-27 13:34:56.161340
• Title: Adversarial robustness against multiple $l_p$-threat models at the price of one and how to quickly fine-tune robust models to another threat model
• Title（参考訳）: 複数の$l_p$-threatモデルに対する1の価格での逆ロバスト性と他の脅威モデルへの高速微調整方法
• Authors: Francesco Croce, Matthias Hein
• Abstract要約: 対向的堅牢性を実現するために, 対向的トレーニング (AT) を単一$l_p$-threatモデルで行うことが広く議論されている。 本稿では,$l_p$-threatモデルの結合に対する対角的ロバスト性を実現するための,シンプルで効率的なトレーニング手法を開発する。
• 参考スコア（独自算出の注目度）: 79.05253587566197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training (AT) in order to achieve adversarial robustness wrt single $l_p$-threat models has been discussed extensively. However, for safety-critical systems adversarial robustness should be achieved wrt all $l_p$-threat models simultaneously. In this paper we develop a simple and efficient training scheme to achieve adversarial robustness against the union of $l_p$-threat models. Our novel $l_1+l_\infty$-AT scheme is based on geometric considerations of the different $l_p$-balls and costs as much as normal adversarial training against a single $l_p$-threat model. Moreover, we show that using our $l_1+l_\infty$-AT scheme one can fine-tune with just 3 epochs any $l_p$-robust model (for $p \in \{1,2,\infty\}$) and achieve multiple norm adversarial robustness. In this way we boost the previous state-of-the-art reported for multiple-norm robustness by more than $6\%$ on CIFAR-10 and report up to our knowledge the first ImageNet models with multiple norm robustness. Moreover, we study the general transfer of adversarial robustness between different threat models and in this way boost the previous SOTA $l_1$-robustness on CIFAR-10 by almost $10\%$.
• Abstract（参考訳）: 対向的堅牢性を実現するために, 対向的トレーニング (AT) を単一$l_p$-threatモデルで行うことが広く議論されている。 しかし、安全クリティカルなシステムでは、全ての$l_p$-threatモデルを同時に実行する必要がある。 本稿では,$l_p$-threatモデルの結合に対する対角的ロバスト性を実現するための,シンプルで効率的なトレーニング手法を開発する。 我々の新しい$l_1+l_\infty$-ATスキームは、異なる$l_p$-ボールの幾何学的考察と、1つの$l_p$-threatモデルに対する通常の逆トレーニングのコストに基づいている。 さらに、我々の$l_1+l_\infty$-ATスキームを用いることで、$l_p$-robustモデル($p \in \{1,2,\infty\}$)をわずか3つのエポックで微調整し、複数のノルム対向ロバスト性を達成することを示す。 このようにして、複数のノルムのロバスト性に関する以前の報告をcifar-10で$6\%以上増加させ、私たちの知るところでは、複数の標準ロバスト性を持つ最初のimagenetモデルについて報告します。 さらに,異なる脅威モデル間の対向ロバスト性の一般的な移動について検討し,CIFAR-10における以前のSOTA $l_1$-robustnessを約10\%向上させる。

関連論文リスト

• Towards Universal Certified Robustness with Multi-Norm Training [4.188296977882316]
  既存の訓練方法は、特定の摂動タイプに対して堅牢なモデルをトレーニングするのみである。 我々は、新しい$l$決定論的認定トレーニングディフェンスからなる、最初のマルチノーム認定トレーニングフレームワーク textbfCURE を提案する。 SOTAの認定トレーニングと比較すると、textbfCUREはMNISTで22.8%、CIFAR-10で23.9%、TinyImagenetで8.0%のロバスト性を向上している。
  論文  参考訳（メタデータ） (2024-10-03T21:20:46Z)
• Deep Adversarial Defense Against Multilevel-Lp Attacks [5.604868766260297]
  本稿では,EMRC法 (Efficient Robust Mode Connectivity) と呼ばれる,計算効率の良いマルチレベル$ell_p$ディフェンスを提案する。 連続最適化で用いられる解析的継続アプローチと同様に、この手法は2つの$p$特化逆最適化モデルをブレンドする。 我々は,AT-$ell_infty$,E-AT,MSDと比較して,本手法が様々な攻撃に対して優れていることを示す実験を行った。
  論文  参考訳（メタデータ） (2024-07-12T13:30:00Z)
• Better Diffusion Models Further Improve Adversarial Training [97.44991845907708]
  拡散確率モデル (DDPM) によって生成されたデータは, 対人訓練を改善することが認識されている。 本稿では,効率のよい最新の拡散モデルを用いて,肯定的な回答を与える。 我々の逆向きに訓練されたモデルは、生成されたデータのみを使用してRobustBench上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-09T13:46:42Z)
• PFGM++: Unlocking the Potential of Physics-Inspired Generative Models [14.708385906024546]
  PFGM++と呼ばれる物理に着想を得た新しい生成モデルを導入する。 これらのモデルは、$N+D$次元空間に経路を埋め込むことにより、$N$次元データの生成軌道を実現する。 有限$D$のモデルは、従来の最先端拡散モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-08T18:58:02Z)
• Towards Alternative Techniques for Improving Adversarial Robustness: Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
  逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。 私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。 ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
  論文  参考訳（メタデータ） (2022-06-13T22:01:21Z)
• Mutual Adversarial Training: Learning together is better than going alone [82.78852509965547]
  モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。 本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。 MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
  論文  参考訳（メタデータ） (2021-12-09T15:59:42Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)
• Mind the box: $l_1$-APGD for sparse adversarial attacks on image classifiers [61.46999584579775]
  我々は、この効果的な脅威モデルのための最も急勾配ステップの空間性について検討する。 本稿では,小予算の反復であっても高い有効性を有するPGDの適応形式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:53:32Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。