論文の概要: Rethinking PGD Attack: Is Sign Function Necessary?

• arxiv url: http://arxiv.org/abs/2312.01260v2
• Date: Tue, 21 May 2024 00:14:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 19:01:09.267502
• Title: Rethinking PGD Attack: Is Sign Function Necessary?
• Title（参考訳）: PGD攻撃を再考する: Sign Functionは必要か?
• Authors: Junjie Yang, Tianlong Chen, Xuxi Chen, Zhangyang Wang, Yingbin Liang,
• Abstract要約: 本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
• 参考スコア（独自算出の注目度）: 131.6894310945647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks have demonstrated success in various domains, yet their performance can be significantly degraded by even a small input perturbation. Consequently, the construction of such perturbations, known as adversarial attacks, has gained significant attention, many of which fall within "white-box" scenarios where we have full access to the neural network. Existing attack algorithms, such as the projected gradient descent (PGD), commonly take the sign function on the raw gradient before updating adversarial inputs, thereby neglecting gradient magnitude information. In this paper, we present a theoretical analysis of how such sign-based update algorithm influences step-wise attack performance, as well as its caveat. We also interpret why previous attempts of directly using raw gradients failed. Based on that, we further propose a new raw gradient descent (RGD) algorithm that eliminates the use of sign. Specifically, we convert the constrained optimization problem into an unconstrained one, by introducing a new hidden variable of non-clipped perturbation that can move beyond the constraint. The effectiveness of the proposed RGD algorithm has been demonstrated extensively in experiments, outperforming PGD and other competitors in various settings, without incurring any additional computational overhead. The codes is available in https://github.com/JunjieYang97/RGD.
• Abstract（参考訳）: ニューラルネットワークは様々な領域で成功しているが、その性能は小さな入力摂動によって著しく低下する可能性がある。 その結果、敵攻撃として知られるこのような摂動の構築が注目され、その多くはニューラルネットワークに完全にアクセス可能な「ホワイトボックス」シナリオに該当する。 既存の攻撃アルゴリズム、例えば、投影勾配降下(PGD)は、通常、逆入力を更新する前に生勾配上の符号関数を取り、勾配等級情報を無視する。 本稿では,このような符号ベースの更新アルゴリズムが段階的攻撃性能にどのように影響するか,また注意すべき点について理論的に分析する。 また,従来の生勾配直接利用の試みが失敗した理由も解釈した。 そこで本研究では,手話の使用を排除したRGDアルゴリズムを提案する。 具体的には、制約を負わない摂動の隠れ変数を導入することで、制約付き最適化問題を非制約に変換する。 提案したRGDアルゴリズムの有効性は,計算オーバーヘッドを伴わずに,PGDと他の競合よりも高い性能を示す実験で広く実証されている。 コードはhttps://github.com/JunjieYang97/RGDで公開されている。

関連論文リスト

• Wasserstein distributional robustness of neural networks [9.79503506460041]
  ディープニューラルネットワークは敵攻撃(AA)に弱いことが知られている 画像認識タスクでは、元の小さな摂動によって画像が誤分類される可能性がある。 本稿では,Wassersteinの分散ロバスト最適化(DRO)技術を用いて問題を再検討し,新しいコントリビューションを得た。
  論文  参考訳（メタデータ） (2023-06-16T13:41:24Z)
• A Framework for Provably Stable and Consistent Training of Deep Feedforward Networks [4.21061712600981]
  本稿では、教師付き(分類と回帰)および教師なし(強化学習)シナリオにおいて、ディープニューラルネットワークを訓練するための新しいアルゴリズムを提案する。 このアルゴリズムは、標準降下勾配と勾配クリッピング法を組み合わせたものである。 理論的および実験を通して、我々のアルゴリズム更新はばらつきが低く、トレーニング損失はスムーズな方法で減少することを示す。
  論文  参考訳（メタデータ） (2023-05-20T07:18:06Z)
• Unsupervised Learning of Initialization in Deep Neural Networks via Maximum Mean Discrepancy [74.34895342081407]
  本稿では,入力データに対する優れた初期化を求めるための教師なしアルゴリズムを提案する。 まず、パラメータ空間における各パラメータ構成が、d-way分類の特定の下流タスクに対応することに気付く。 次に、学習の成功は、初期パラメータの近傍で下流タスクがいかに多様であるかに直接関連していると推測する。
  論文  参考訳（メタデータ） (2023-02-08T23:23:28Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization [60.72410937614299]
  提案手法は,2レベルAT(FAST-BAT)と呼ばれる新しいアルゴリズムセットの設計と解析である。 FAST-BATは、グラデーションサインメソッドや明示的なロバスト正規化を呼ぶことなく、符号ベースの投射降下(PGD)攻撃を防御することができる。
  論文  参考訳（メタデータ） (2021-12-23T06:25:36Z)
• Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm [93.80082636284922]
  少数の敵対的攻撃は、数ピクセルを摂動するだけでディープ・ネットワーク(DNN)を騙すことができる。 近年の取り組みは、他の等級のl_infty摂動と組み合わせている。 本稿では,空間的・神経的摂動に対処するホモトピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:11:36Z)
• Boosting Gradient for White-Box Adversarial Attacks [60.422511092730026]
  そこで本研究では,ADV-ReLUと呼ばれる,勾配に基づくホワイトボックス攻撃アルゴリズムの性能向上を目的とした,汎用的な逆例生成手法を提案する。 提案手法では,損失関数とネットワーク入力の勾配を算出し,その値をスコアにマップし,その一部を選択して誤導勾配を更新する。
  論文  参考訳（メタデータ） (2020-10-21T02:13:26Z)
• Scalable Adversarial Attack on Graph Neural Networks with Alternating Direction Method of Multipliers [17.09807200410981]
  乗算器の交互方向法(ADMM)を用いた最初のスケーラブルな対向攻撃法であるSAGを提案する。 SAGは最先端の手法と比較して計算量やメモリオーバーヘッドを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2020-09-22T00:33:36Z)
• Towards More Practical Adversarial Attacks on Graph Neural Networks [14.78539966828287]
  グラフニューラルネットワーク(GNN)に対するブラックボックス攻撃を,新規で現実的な制約の下で検討する。 我々は,GNNモデルの構造的帰納バイアスが,この種の攻撃に有効であることを示す。
  論文  参考訳（メタデータ） (2020-06-09T05:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。