論文の概要: Parameter-Saving Adversarial Training: Reinforcing Multi-Perturbation Robustness via Hypernetworks

• arxiv url: http://arxiv.org/abs/2309.16207v1
• Date: Thu, 28 Sep 2023 07:16:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 15:50:14.371486
• Title: Parameter-Saving Adversarial Training: Reinforcing Multi-Perturbation Robustness via Hypernetworks
• Title（参考訳）: パラメータセービング対向トレーニング:ハイパーネットによるマルチ摂動ロバストネスの強化
• Authors: Huihui Gong, Minjing Dong, Siqi Ma, Seyit Camtepe, Surya Nepal, Chang Xu
• Abstract要約: 敵の訓練は、敵の摂動から守る最もポピュラーで効果的な方法の1つである。 本稿では,多摂動頑健性を高めるために,新しい多摂動対向トレーニングフレームワークであるパラメータセービング対向トレーニング(PSAT)を提案する。
• 参考スコア（独自算出の注目度）: 47.21491911505409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training serves as one of the most popular and effective methods to defend against adversarial perturbations. However, most defense mechanisms only consider a single type of perturbation while various attack methods might be adopted to perform stronger adversarial attacks against the deployed model in real-world scenarios, e.g., $\ell_2$ or $\ell_\infty$. Defending against various attacks can be a challenging problem since multi-perturbation adversarial training and its variants only achieve suboptimal robustness trade-offs, due to the theoretical limit to multi-perturbation robustness for a single model. Besides, it is impractical to deploy large models in some storage-efficient scenarios. To settle down these drawbacks, in this paper we propose a novel multi-perturbation adversarial training framework, parameter-saving adversarial training (PSAT), to reinforce multi-perturbation robustness with an advantageous side effect of saving parameters, which leverages hypernetworks to train specialized models against a single perturbation and aggregate these specialized models to defend against multiple perturbations. Eventually, we extensively evaluate and compare our proposed method with state-of-the-art single/multi-perturbation robust methods against various latest attack methods on different datasets, showing the robustness superiority and parameter efficiency of our proposed method, e.g., for the CIFAR-10 dataset with ResNet-50 as the backbone, PSAT saves approximately 80\% of parameters with achieving the state-of-the-art robustness trade-off accuracy.
• Abstract（参考訳）: 敵意トレーニングは、敵意の摂動を防御する最も一般的で効果的な方法の1つである。 しかし、ほとんどの防御機構は単一のタイプの摂動のみを考慮し、様々な攻撃手法は実際のシナリオでデプロイされたモデルに対してより強力な攻撃を行うために採用される可能性がある。 様々な攻撃に対する防御は、単一モデルに対する多重摂動ロバスト性に対する理論的制限のため、マルチ摂動敵訓練とその変種が準最適ロバスト性トレードオフしか達成できないため、難しい問題となる。 さらに、ストレージ効率のよいシナリオでは、大規模モデルをデプロイするのは現実的ではない。 これらの欠点を解決するため,本論文では,ハイパーネットワークを利用して単一摂動に対する特殊モデルを訓練し,これらの特殊モデルを集約して複数の摂動に対して防御するマルチ摂動学習フレームワークであるparameter- saving adversarial training (psat)を提案する。 最終的に,提案手法と最先端のsingle/multi-perturbationロバスト法を比較し,提案手法のロバスト性とパラメータ効率,例えばresnet-50をバックボーンとするcifar-10データセットに対して,psatは,最先端ロバスト性トレードオフ精度を達成するために約80%のパラメータを節約することを示した。

関連論文リスト

• Hyper Adversarial Tuning for Boosting Adversarial Robustness of Pretrained Large Vision Models [9.762046320216005]
  大きな視覚モデルは敵の例に弱いことが分かっており、敵の強靭性を高める必要性を強調している。 近年の研究では、大規模視覚モデルにおけるローランク適応(LoRA)の逆調整のような堅牢な微調整法が提案されているが、完全なパラメータ逆微調整の精度の一致に苦慮している。 本稿では,モデルロバスト性を効率的にかつ効率的に向上するために,異なる手法間で共有された防御知識を活用するハイパー対戦チューニング(HyperAT)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T12:05:01Z)
• Enhancing Targeted Attack Transferability via Diversified Weight Pruning [0.3222802562733786]
  悪意のある攻撃者は、画像に人間の知覚できないノイズを与えることによって、標的となる敵の例を生成することができる。 クロスモデル転送可能な敵の例では、モデル情報が攻撃者から秘密にされている場合でも、ニューラルネットワークの脆弱性は残る。 近年の研究では, エンサンブル法の有効性が示されている。
  論文  参考訳（メタデータ） (2022-08-18T07:25:48Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• Multi-stage Optimization based Adversarial Training [16.295921205749934]
  本稿では,多段階最適化に基づく適応学習(MOAT)手法を提案する。 同様の訓練オーバーヘッドの下で、提案したMOATは、単段階または多段階の対向訓練方法よりも堅牢性が高い。
  論文  参考訳（メタデータ） (2021-06-26T07:59:52Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• "What's in the box?!": Deflecting Adversarial Attacks by Randomly Deploying Adversarially-Disjoint Models [71.91835408379602]
  敵の例は長い間、機械学習モデルに対する真の脅威と考えられてきた。 我々は、従来のホワイトボックスやブラックボックスの脅威モデルを超えた、配置ベースの防衛パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-02-09T20:07:13Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Learning to Generate Noise for Multi-Attack Robustness [126.23656251512762]
  対人学習は、対人摂動に対する既存の方法の感受性を回避できる手法の1つとして登場した。 安全クリティカルなアプリケーションでは、攻撃者は様々な敵を採用してシステムを騙すことができるため、これらの手法は極端に便利である。 本稿では,複数種類の攻撃に対するモデルの堅牢性を改善するために,ノイズ発生を明示的に学習するメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-22T10:44:05Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。