論文の概要: On the Convergence and Robustness of Adversarial Training

• arxiv url: http://arxiv.org/abs/2112.08304v1
• Date: Wed, 15 Dec 2021 17:54:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 17:17:56.856095
• Title: On the Convergence and Robustness of Adversarial Training
• Title（参考訳）: 対人訓練の収束性とロバスト性について
• Authors: Yisen Wang, Xingjun Ma, James Bailey, Jinfeng Yi, Bowen Zhou, Quanquan Gu
• Abstract要約: Project Gradient Decent (PGD) によるアドリアリトレーニングが最も効果的である。 生成した逆数例の収束性を向上させるためのテクトダイナミックトレーニング戦略を提案する。 その結果,提案手法の有効性が示唆された。
• 参考スコア（独自算出の注目度）: 134.25999006326916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Improving the robustness of deep neural networks (DNNs) to adversarial examples is an important yet challenging problem for secure deep learning. Across existing defense techniques, adversarial training with Projected Gradient Decent (PGD) is amongst the most effective. Adversarial training solves a min-max optimization problem, with the \textit{inner maximization} generating adversarial examples by maximizing the classification loss, and the \textit{outer minimization} finding model parameters by minimizing the loss on adversarial examples generated from the inner maximization. A criterion that measures how well the inner maximization is solved is therefore crucial for adversarial training. In this paper, we propose such a criterion, namely First-Order Stationary Condition for constrained optimization (FOSC), to quantitatively evaluate the convergence quality of adversarial examples found in the inner maximization. With FOSC, we find that to ensure better robustness, it is essential to use adversarial examples with better convergence quality at the \textit{later stages} of training. Yet at the early stages, high convergence quality adversarial examples are not necessary and may even lead to poor robustness. Based on these observations, we propose a \textit{dynamic} training strategy to gradually increase the convergence quality of the generated adversarial examples, which significantly improves the robustness of adversarial training. Our theoretical and empirical results show the effectiveness of the proposed method.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の敵例に対する堅牢性を改善することは、セキュアなディープラーニングにとって重要な課題である。 既存の防衛技術以外にも、プロジェクテッド・グラディエント・デセント(PGD)による敵の訓練が最も効果的である。 比較学習は、分類損失を最大化して逆例を生成する \textit{inner maximization} と、内最大化から生成された逆例の損失を最小化してモデルパラメータを求める \textit{outer minimization} とを用いて、min-max最適化問題を解く。 したがって, 内面最大化の精度を測る基準は, 敵の訓練に不可欠である。 本稿では,制約付き最適化のための一階定常条件 (fosc) を提案し,内部最大化における逆例の収束品質を定量的に評価する。 FOSCでは、より堅牢性を確保するために、トレーニングの「textit{later stage}」において、より良い収束品質を持つ逆例を使用することが不可欠である。 しかし、初期段階では高いコンバージェンス品質の敵意は必要とせず、強固さを損なうこともある。 これらの観察に基づいて,生成した逆行例の収束品質を徐々に向上させ,逆行訓練のロバスト性を大幅に向上させる \textit{dynamic} トレーニング戦略を提案する。 その結果,提案手法の有効性が示唆された。

関連論文リスト

• Focus on Hiders: Exploring Hidden Threats for Enhancing Adversarial Training [20.1991376813843]
  我々は、HFAT(Hider-Focused Adversarial Training)と呼ばれる一般化した逆トレーニングアルゴリズムを提案する。 HFATは、標準的な対向訓練と予防隠蔽装置の最適化方向を組み合わせたものである。 提案手法の有効性を実験により検証した。
  論文  参考訳（メタデータ） (2023-12-12T08:41:18Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Distributed Statistical Min-Max Learning in the Presence of Byzantine Agents [34.46660729815201]
  本稿では,ビザンチンの敵対的エージェントと競合する新たな課題に焦点をあて,マルチエージェントのmin-max学習問題を考察する。 我々の主な貢献は、滑らかな凸凹関数と滑らかな凸凸凸関数に対する頑健な外勾配アルゴリズムのクリップ解析を提供することである。 我々の利率はほぼ最適であり、敵の汚職の影響と非汚職エージェント間の協力の利益の両方を明らかにしている。
  論文  参考訳（メタデータ） (2022-04-07T03:36:28Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Robust Deep Learning as Optimal Control: Insights and Convergence Guarantees [19.28405674700399]
  訓練中の敵の例は、敵の攻撃に対する一般的な防御メカニズムです。 min-max問題を最適制御問題として解釈することにより、ニューラルネットワークの構成構造を活用できることが示されている。 本稿では、ロバストな最適制御の手法と、最適化における不正確な手法を組み合わせて、この逆学習アルゴリズムの最初の収束解析を行う。
  論文  参考訳（メタデータ） (2020-05-01T21:26:38Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。