論文の概要: Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization

• arxiv url: http://arxiv.org/abs/2112.12376v2
• Date: Fri, 24 Dec 2021 04:06:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-28 13:14:35.524059
• Title: Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization
• Title（参考訳）: 両レベル最適化レンズによる高速対人訓練の見直しと改善
• Authors: Yihua Zhang, Guanhua Zhang, Prashant Khanduri, Mingyi Hong, Shiyu Chang, Sijia Liu
• Abstract要約: 提案手法は,2レベルAT(FAST-BAT)と呼ばれる新しいアルゴリズムセットの設計と解析である。 FAST-BATは、グラデーションサインメソッドや明示的なロバスト正規化を呼ぶことなく、符号ベースの投射降下(PGD)攻撃を防御することができる。
• 参考スコア（独自算出の注目度）: 60.72410937614299
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training (AT) has become a widely recognized defense mechanism to improve the robustness of deep neural networks against adversarial attacks. It solves a min-max optimization problem, where the minimizer (i.e., defender) seeks a robust model to minimize the worst-case training loss in the presence of adversarial examples crafted by the maximizer (i.e., attacker). However, the min-max nature makes AT computationally intensive and thus difficult to scale. Meanwhile, the FAST-AT algorithm, and in fact many recent algorithms that improve AT, simplify the min-max based AT by replacing its maximization step with the simple one-shot gradient sign based attack generation step. Although easy to implement, FAST-AT lacks theoretical guarantees, and its practical performance can be unsatisfactory, suffering from the robustness catastrophic overfitting when training with strong adversaries. In this paper, we propose to design FAST-AT from the perspective of bi-level optimization (BLO). We first make the key observation that the most commonly-used algorithmic specification of FAST-AT is equivalent to using some gradient descent-type algorithm to solve a bi-level problem involving a sign operation. However, the discrete nature of the sign operation makes it difficult to understand the algorithm performance. Based on the above observation, we propose a new tractable bi-level optimization problem, design and analyze a new set of algorithms termed Fast Bi-level AT (FAST-BAT). FAST-BAT is capable of defending sign-based projected gradient descent (PGD) attacks without calling any gradient sign method and explicit robust regularization. Furthermore, we empirically show that our method outperforms state-of-the-art FAST-AT baselines, by achieving superior model robustness without inducing robustness catastrophic overfitting, or suffering from any loss of standard accuracy.
• Abstract（参考訳）: 敵陣訓練(AT)は、敵陣攻撃に対するディープニューラルネットワークの堅牢性を改善するための防御メカニズムとして広く認知されている。 最小化器(すなわちディフェンダー)は、最大化器(すなわち攻撃者)が作成した敵の例の存在下で、最悪の場合のトレーニング損失を最小限に抑えるためのロバストなモデルを求める。 しかし、min-maxの性質は計算量が多いためスケールが難しい。 一方、FAST-ATアルゴリズムや、ATを改善する最近の多くのアルゴリズムは、その最大化ステップを単純なワンショット勾配符号ベースの攻撃生成ステップに置き換えることで、min-maxベースのATを単純化している。 実装は容易ではあるが、fast-atは理論的な保証が欠けており、その実用性は不十分であり、強力な敵とのトレーニングにおいて強固な破壊的過剰に苦しむ。 本稿では,双方向最適化(BLO)の観点からFAST-ATの設計を提案する。 まず,fast-atの最も一般的なアルゴリズム仕様は,符号操作を含む二値問題を解くための勾配降下型アルゴリズムと等価であることを示す。 しかし、符号操作の離散性はアルゴリズムの性能を理解するのを難しくしている。 そこで本研究では,Fast Bi-level AT (FAST-BAT) と呼ばれる新しいアルゴリズムの設計と解析を行う。 FAST-BATは、グラデーションサインメソッドや明示的なロバストな正規化を呼ばずに、符号ベースの投射勾配降下(PGD)攻撃を防御することができる。 さらに,本手法は, 従来のFAST-ATベースラインよりも優れたモデルロバスト性を実現し, 破滅的なオーバーフィッティングを誘発せず, あるいは標準精度の低下に悩まされることを実証的に示す。

関連論文リスト

• Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
  本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
  論文  参考訳（メタデータ） (2023-12-03T02:26:58Z)
• Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
  トレーニングインスタンスの観点から,この現象を考察する。 適応ステップサイズ(ATAS)を用いた逆学習法を提案する。 ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
  論文  参考訳（メタデータ） (2022-06-06T08:20:07Z)
• Robust recovery for stochastic block models [16.74630355427558]
  ブロックモデルのロバストバージョンにおいて、弱い回復のための効率的なアルゴリズムを開発する。 その結果,ブロックモデルにロバストさの代償はないことがわかった。
  論文  参考訳（メタデータ） (2021-11-16T15:43:00Z)
• Boosting Fast Adversarial Training with Learnable Adversarial Initialization [79.90495058040537]
  対人訓練(AT)は、対人訓練の例を活用することにより、モデルロバスト性を改善するのに有効であることが示されている。 トレーニング効率を向上させるため,高速AT法では1回だけ勾配を計算することにより高速勾配符号法(FGSM)が採用されている。
  論文  参考訳（メタデータ） (2021-10-11T05:37:00Z)
• Implicit Finite-Horizon Approximation and Efficient Optimal Algorithms for Stochastic Shortest Path [29.289190242826688]
  本稿では,最短経路(SSP)モデルにおいて,後悔するアルゴリズムを開発するための汎用テンプレートを提案する。 まず、厳密な正のコストでモデルフリーとミニマックス最適の2つの新しいアルゴリズムを開発する。 どちらのアルゴリズムも高度にスパースな更新を認めており、既存のアルゴリズムよりも計算効率が良い。
  論文  参考訳（メタデータ） (2021-06-15T19:15:17Z)
• Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm [93.80082636284922]
  少数の敵対的攻撃は、数ピクセルを摂動するだけでディープ・ネットワーク(DNN)を騙すことができる。 近年の取り組みは、他の等級のl_infty摂動と組み合わせている。 本稿では,空間的・神経的摂動に対処するホモトピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:11:36Z)
• Targeted Attack against Deep Neural Networks via Flipping Limited Weight Bits [55.740716446995805]
  我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。 私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。 整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
  論文  参考訳（メタデータ） (2021-02-21T03:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。