論文の概要: Reliably fast adversarial training via latent adversarial perturbation

• arxiv url: http://arxiv.org/abs/2104.01575v1
• Date: Sun, 4 Apr 2021 09:47:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 06:12:50.683578
• Title: Reliably fast adversarial training via latent adversarial perturbation
• Title（参考訳）: 遅発性対向性摂動による高速対向訓練
• Authors: Geon Yeong Park, Sang Wan Lee
• Abstract要約: 上述のオーバーヘッドコストを軽減するため, 単段階潜時対向訓練法を提案する。 構造的な単純さにもかかわらず、提案手法は最先端の加速型敵対的トレーニング方法よりも優れている。
• 参考スコア（独自算出の注目度）: 5.444459446244819
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While multi-step adversarial training is widely popular as an effective defense method against strong adversarial attacks, its computational cost is notoriously expensive, compared to standard training. Several single-step adversarial training methods have been proposed to mitigate the above-mentioned overhead cost; however, their performance is not sufficiently reliable depending on the optimization setting. To overcome such limitations, we deviate from the existing input-space-based adversarial training regime and propose a single-step latent adversarial training method (SLAT), which leverages the gradients of latent representation as the latent adversarial perturbation. We demonstrate that the L1 norm of feature gradients is implicitly regularized through the adopted latent perturbation, thereby recovering local linearity and ensuring reliable performance, compared to the existing single-step adversarial training methods. Because latent perturbation is based on the gradients of the latent representations which can be obtained for free in the process of input gradients computation, the proposed method costs roughly the same time as the fast gradient sign method. Experiment results demonstrate that the proposed method, despite its structural simplicity, outperforms state-of-the-art accelerated adversarial training methods.
• Abstract（参考訳）: 多段階の対向訓練は強力な対向攻撃に対する効果的な防御手段として広く普及しているが、計算コストは標準的な訓練に比べて高く評価されている。 上記のオーバヘッドコストを軽減するために, 複数ステップの対向訓練手法が提案されているが, 最適化設定によっては信頼性が十分でない。 このような制約を克服するため,我々は,既存の入力空間に基づく攻撃訓練方式から逸脱し,潜在表現の勾配を潜在攻撃的摂動として活用する単段潜在攻撃訓練法(slat)を提案する。 特徴勾配のL1ノルムは,適応された潜在摂動によって暗黙的に規則化され,従って局所線形性を回復し,既存の単段階対角訓練法と比較して信頼性の高い性能を確保できることを示す。 潜在摂動は入力勾配計算の過程で自由に得られる潜在表現の勾配に基づいているため,提案手法は高速勾配符号法とほぼ同程度の費用がかかる。 実験結果から,提案手法は構造的単純性に拘わらず,最先端の高速対向訓練法よりも優れた性能を示した。

関連論文リスト

• Conflict-Aware Adversarial Training [29.804312958830636]
  我々は、重み付け平均法は、標準的な性能と対向ロバスト性に対する最良のトレードオフを提供していないと論じる。 テキストbf競合認識適応訓練(CA-AT)という,標準と対向的損失の凸結合のための競合認識因子を用いた対向的トレーニングのための新たなトレードオフパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-21T23:44:03Z)
• Revisiting and Exploring Efficient Fast Adversarial Training via LAW: Lipschitz Regularization and Auto Weight Averaging [73.78965374696608]
  本研究では,10以上の高速対人訓練法について,対人ロバスト性およびトレーニングコストの観点から検討した。 破滅的オーバーフィッティング防止のための高速対人訓練手法の有効性と有効性を再考する。 リプシッツ正規化とオートウェイト平均化を備えたFGSMに基づく高速対向訓練手法を提案する。
  論文  参考訳（メタデータ） (2023-08-22T13:50:49Z)
• Improving Fast Adversarial Training with Prior-Guided Knowledge [80.52575209189365]
  本研究では,標準的な対人訓練と高速対人訓練の訓練過程を比較して,対人具体的品質と破滅的オーバーフィッティングの関係について検討した。 その結果,敵対例の攻撃成功率が悪化すると,破滅的なオーバーフィッティングが発生することがわかった。
  論文  参考訳（メタデータ） (2023-04-01T02:18:12Z)
• Robust Upper Bounds for Adversarial Training [4.971729553254843]
  敵の損失の上限を最小化することで、敵の訓練に新たなアプローチを導入する。 このバウンダリは、各レイヤの別々のバウンダリではなく、ネットワークの全体的拡張に基づいている。 提案手法により2つの新しい手法を導出する。
  論文  参考訳（メタデータ） (2021-12-17T01:52:35Z)
• Boosting Fast Adversarial Training with Learnable Adversarial Initialization [79.90495058040537]
  対人訓練(AT)は、対人訓練の例を活用することにより、モデルロバスト性を改善するのに有効であることが示されている。 トレーニング効率を向上させるため,高速AT法では1回だけ勾配を計算することにより高速勾配符号法(FGSM)が採用されている。
  論文  参考訳（メタデータ） (2021-10-11T05:37:00Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Adaptive perturbation adversarial training: based on reinforcement learning [9.563820241076103]
  対人訓練の欠点の1つは、通常のサンプルの認識精度を低下させることである。 この問題を緩和するため,適応的対人訓練が提案されている。 決定境界に近いが、敵の訓練のために決定境界を越えていない辺境の敵のサンプルを使用する。
  論文  参考訳（メタデータ） (2021-08-30T13:49:55Z)
• Robust Single-step Adversarial Training with Regularizer [11.35007968593652]
  本稿では,PGD正規化を用いた高速勾配符号法(FGSMPR)を提案する。 実験により,提案手法はFGSM対向学習を用いたL$_infty$-perturbationsのための頑健な深層ネットワークを訓練可能であることが示された。
  論文  参考訳（メタデータ） (2021-02-05T19:07:10Z)
• Efficient Robust Training via Backward Smoothing [125.91185167854262]
  敵の訓練は敵の例に対抗して最も効果的な戦略である。 トレーニングの各ステップにおける反復的な敵攻撃により、高い計算コストに悩まされる。 近年の研究では、単一段階攻撃を行うことで、高速な対人訓練が可能であることが示されている。
  論文  参考訳（メタデータ） (2020-10-03T04:37:33Z)
• Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
  単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。 提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
  論文  参考訳（メタデータ） (2020-04-18T14:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。