論文の概要: Stable and Efficient Adversarial Training through Local Linearization

• arxiv url: http://arxiv.org/abs/2210.05373v1
• Date: Tue, 11 Oct 2022 11:57:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 14:46:05.497397
• Title: Stable and Efficient Adversarial Training through Local Linearization
• Title（参考訳）: 局所線形化による安定かつ効率的な対向訓練
• Authors: Zhuorong Li and Daiwei Yu
• Abstract要約: カタストロフィックオーバーフィッティングと呼ばれる現象が観察されており、これは単一段階の防御でよく見られる。 本稿では, 壊滅的過度適合を緩和する新しい方法である, 安定かつ効率的な対人訓練(SEAT)を提案する。 PGD-50攻撃によるCIFAR-10の精度は51%, PGD-50攻撃下では半径8/255$のl_infty$摂動が可能である。
• 参考スコア（独自算出の注目度）: 0.5076419064097734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been a recent surge in single-step adversarial training as it shows robustness and efficiency. However, a phenomenon referred to as ``catastrophic overfitting" has been observed, which is prevalent in single-step defenses and may frustrate attempts to use FGSM adversarial training. To address this issue, we propose a novel method, Stable and Efficient Adversarial Training (SEAT), which mitigates catastrophic overfitting by harnessing on local properties that distinguish a robust model from that of a catastrophic overfitted model. The proposed SEAT has strong theoretical justifications, in that minimizing the SEAT loss can be shown to favour smooth empirical risk, thereby leading to robustness. Experimental results demonstrate that the proposed method successfully mitigates catastrophic overfitting, yielding superior performance amongst efficient defenses. Our single-step method can reach 51% robust accuracy for CIFAR-10 with $l_\infty$ perturbations of radius $8/255$ under a strong PGD-50 attack, matching the performance of a 10-step iterative adversarial training at merely 3% computational cost.
• Abstract（参考訳）: 近年,強靭性と効率性を示す一段階の対人訓練が急増している。 しかし、「カタストロフィックオーバーフィッティング(catastrophic overfitting)」と呼ばれる現象が観察されており、これはシングルステップの防御でよく見られ、FGSM対人訓練の使用にフラストレーションを与える可能性がある。 そこで本研究では, 強靭なモデルと破滅的な過適合モデルとを区別した局所特性を活用して, 破滅的な過適合を緩和する新しい手法であるSEAT(Stable and Efficient Adversarial Training)を提案する。 提案したSEATは、SEAT損失を最小限に抑えることは、スムーズな経験的リスクをもたらすことが示され、堅牢性をもたらすという理論的な根拠がある。 実験により, 提案手法は破滅的オーバーフィッティングを緩和し, 有効防御性能に優れることを示した。 pgd-50攻撃下でのl_\infty$perturbations of radius 8/255$のcifar-10の1ステップの精度は51%に達し、3%の計算コストで10ステップ反復攻撃訓練の性能に匹敵する。

関連論文リスト

• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Reducing Adversarial Training Cost with Gradient Approximation [0.3916094706589679]
  そこで本研究では,厳密なモデル構築に要するコストを削減するために,GAAT(グラディエント近似)を用いた対戦訓練法を提案する。 提案手法は,データセット上でのモデルテスト精度に比較して,トレーニング時間の最大60%を節約する。
  論文  参考訳（メタデータ） (2023-09-18T03:55:41Z)
• Revisiting and Advancing Adversarial Training Through A Simple Baseline [7.226961695849204]
  我々はSimpleATと呼ばれるシンプルなベースラインアプローチを導入し、最近の手法と競合し、堅牢なオーバーフィッティングを緩和する。 我々はCIFAR-10/100とTiny-ImageNetで広範囲に実験を行い、SimpleATの最先端の敵攻撃に対する堅牢性を検証する。 以上の結果から,SimpleATと先進的対人防御手法の相互関係が明らかとなった。
  論文  参考訳（メタデータ） (2023-06-13T08:12:52Z)
• Raising the Bar for Certified Adversarial Robustness with Diffusion Models [9.684141378657522]
  本研究では,同様のアプローチが決定論的証明された防御を著しく改善できることを実証する。 主な洞察の1つは、元のモデルのトレーニングとテストの精度の違いは、改善の規模を予測できることです。 提案手法は,CIFAR-10 上で $ell$ ($epsilon = 36/255$) および $ell_infty$ ($epsilon = 8/255$) 脅威モデルに対して,最先端の決定論的堅牢性証明を実現する。
  論文  参考訳（メタデータ） (2023-05-17T17:29:10Z)
• Enhancing Adversarial Robustness for Deep Metric Learning [77.75152218980605]
  深層学習モデルの対角的堅牢性を改善する必要がある。 過度にハードな例によるモデル崩壊を避けるため、既存の守備隊はmin-max対逆訓練を中止した。 本研究では, 対人訓練において, 一定の硬度までトレーニング三重奏を効率よく摂動させる硬度操作を提案する。
  論文  参考訳（メタデータ） (2022-03-02T22:27:44Z)
• Robust Single-step Adversarial Training with Regularizer [11.35007968593652]
  本稿では,PGD正規化を用いた高速勾配符号法(FGSMPR)を提案する。 実験により,提案手法はFGSM対向学習を用いたL$_infty$-perturbationsのための頑健な深層ネットワークを訓練可能であることが示された。
  論文  参考訳（メタデータ） (2021-02-05T19:07:10Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• To be Robust or to be Fair: Towards Fairness in Adversarial Training [83.42241071662897]
  逆行訓練アルゴリズムは、異なるデータ群間の精度と堅牢性に深刻な違いをもたらす傾向がある。 本稿では、敵防衛を行う際の不公平問題を軽減するためのFair-Robust-Learning(FRL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T02:21:54Z)
• Bag of Tricks for Adversarial Training [50.53525358778331]
  アドリアリトレーニングは、モデルの堅牢性を促進するための最も効果的な戦略の1つである。 最近のベンチマークでは、提案されたATの改良のほとんどは、単にトレーニング手順を早期に停止するよりも効果が低いことが示されている。
  論文  参考訳（メタデータ） (2020-10-01T15:03:51Z)
• Fast is better than free: Revisiting adversarial training [86.11788847990783]
  より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。 我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
  論文  参考訳（メタデータ） (2020-01-12T20:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。