論文の概要: Towards Speeding up Adversarial Training in Latent Spaces

• arxiv url: http://arxiv.org/abs/2102.00662v1
• Date: Mon, 1 Feb 2021 06:30:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 16:17:38.672321
• Title: Towards Speeding up Adversarial Training in Latent Spaces
• Title（参考訳）: 潜在空間における対人訓練のスピードアップに向けて
• Authors: Yaguan Qian, Qiqi Shao, Tengteng Yao, Bin Wang, Shaoning Zeng, Zhaoquan Gu and Wassim Swaileh
• Abstract要約: そこで本研究では,現実の敵の例を生成する必要のない,新たな敵の訓練手法を提案する。 我々は、多様体の理論により内在的逆例(EAEs)の存在について深い洞察を得る。 EAE対人訓練はトレーニング時間を短縮するだけでなく、モデルの堅牢性を高める。
• 参考スコア（独自算出の注目度）: 8.054201249492582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training is wildly considered as the most effective way to defend against adversarial examples. However, existing adversarial training methods consume unbearable time cost, since they need to generate adversarial examples in the input space, which accounts for the main part of total time-consuming. For speeding up the training process, we propose a novel adversarial training method that does not need to generate real adversarial examples. We notice that a clean example is closer to the decision boundary of the class with the second largest logit component than any other class besides its own class. Thus, by adding perturbations to logits to generate Endogenous Adversarial Examples(EAEs) -- adversarial examples in the latent space, it can avoid calculating gradients to speed up the training process. We further gain a deep insight into the existence of EAEs by the theory of manifold. To guarantee the added perturbation is within the range of constraint, we use statistical distributions to select seed examples to craft EAEs. Extensive experiments are conducted on CIFAR-10 and ImageNet, and the results show that compare with state-of-the-art "Free" and "Fast" methods, our EAE adversarial training not only shortens the training time, but also enhances the robustness of the model. Moreover, the EAE adversarial training has little impact on the accuracy of clean examples than the existing methods.
• Abstract（参考訳）: 敵対的な訓練は、敵対的な例から守る最も効果的な方法です。 しかし,既存の対人訓練手法では,入力空間における対人的な例を生成する必要があるため,時間消費の主部分を占めている。 学習過程を高速化するため,本研究では,実例を生成する必要のない新しい学習手法を提案する。 クリーンな例は、自身のクラス以外のどのクラスよりも2番目に大きなロジットコンポーネントを持つクラスの決定境界に近いことに気付きます。 したがって、ロジットに摂動を加えて内在的敵例(EAEs)を生成することで、トレーニングプロセスを高速化するために勾配を計算することを避けることができる。 我々はさらに多様体の理論によってAEの存在についての深い洞察を得る。 付加的な摂動が制約の範囲内にあることを保証するため、統計分布を用いてシード例を選択してAEを製作する。 CIFAR-10 と ImageNet で大規模な実験を行い,現状の "Free" と "Fast" の手法と比較して,EAE の対人訓練はトレーニング時間を短縮するだけでなく,モデルの堅牢性も向上することを示した。 さらに,EAE対人訓練は,既存の方法に比べてクリーンサンプルの精度にはほとんど影響を与えない。

関連論文リスト

• Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
  未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。 我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
  論文  参考訳（メタデータ） (2024-05-02T16:49:25Z)
• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• Reducing Adversarial Training Cost with Gradient Approximation [0.3916094706589679]
  そこで本研究では,厳密なモデル構築に要するコストを削減するために,GAAT(グラディエント近似)を用いた対戦訓練法を提案する。 提案手法は,データセット上でのモデルテスト精度に比較して,トレーニング時間の最大60%を節約する。
  論文  参考訳（メタデータ） (2023-09-18T03:55:41Z)
• Hard Adversarial Example Mining for Improving Robust Fairness [18.02943802341582]
  敵対的トレーニング(AT)は、敵対的事例(AE)に対するディープニューラルネットワーク(DNN)の堅牢性を改善するための最先端技術として広く考えられている。 近年の研究では、敵に訓練されたモデルは不公平な問題を起こしやすく、適用性が制限されていることが明らかになっている。 この問題を軽減するために,適応型ハード・アドバイザリの例である Mining.HAM を用いて,単純かつ効果的なフレームワーク HAM を提案する。
  論文  参考訳（メタデータ） (2023-08-03T15:33:24Z)
• The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for Improving Adversarial Training [72.39526433794707]
  敵の訓練とその変種は、敵の例に対抗して最も効果的なアプローチであることが示されている。 本稿では,モデルが類似した出力を生成することを奨励する,新たな対角訓練手法を提案する。 本手法は,最先端のロバスト性および自然な精度を実現する。
  論文  参考訳（メタデータ） (2022-11-01T15:24:26Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• Adaptive perturbation adversarial training: based on reinforcement learning [9.563820241076103]
  対人訓練の欠点の1つは、通常のサンプルの認識精度を低下させることである。 この問題を緩和するため,適応的対人訓練が提案されている。 決定境界に近いが、敵の訓練のために決定境界を越えていない辺境の敵のサンプルを使用する。
  論文  参考訳（メタデータ） (2021-08-30T13:49:55Z)
• Multi-stage Optimization based Adversarial Training [16.295921205749934]
  本稿では,多段階最適化に基づく適応学習(MOAT)手法を提案する。 同様の訓練オーバーヘッドの下で、提案したMOATは、単段階または多段階の対向訓練方法よりも堅牢性が高い。
  論文  参考訳（メタデータ） (2021-06-26T07:59:52Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)
• Efficient Adversarial Training with Transferable Adversarial Examples [58.62766224452761]
  同じトレーニングプロセスにおいて、近隣のエポックからのモデル間で高い転送可能性があることが示される。 本稿では,ATTA(Adversarial Training with Transferable Adversarial Examples)を提案する。
  論文  参考訳（メタデータ） (2019-12-27T03:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。