論文の概要: Fast Gradient Non-sign Methods

• arxiv url: http://arxiv.org/abs/2110.12734v1
• Date: Mon, 25 Oct 2021 08:46:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 15:08:02.193385
• Title: Fast Gradient Non-sign Methods
• Title（参考訳）: 高速勾配非符号法
• Authors: Yaya Cheng, Xiaosu Zhu, Qilong Zhang, Lianli Gao, Jingkuan Song
• Abstract要約: Fast Gradient Non-sign Method (FGNM) は一般的なルーチンであり、グラデーションベースの攻撃において従来の$sign$操作をシームレスに置き換えることができる。 我々の手法は、textbf27.5% と textbf9.5% でそれらを上回ります。
• 参考スコア（独自算出の注目度）: 67.56549792690706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial attacks make their success in \enquote{fooling} DNNs and among them, gradient-based algorithms become one of the mainstreams. Based on the linearity hypothesis~\cite{fgsm}, under $\ell_\infty$ constraint, $sign$ operation applied to the gradients is a good choice for generating perturbations. However, the side-effect from such operation exists since it leads to the bias of direction between the real gradients and the perturbations. In other words, current methods contain a gap between real gradients and actual noises, which leads to biased and inefficient attacks. Therefore in this paper, based on the Taylor expansion, the bias is analyzed theoretically and the correction of $\sign$, \ie, Fast Gradient Non-sign Method (FGNM), is further proposed. Notably, FGNM is a general routine, which can seamlessly replace the conventional $sign$ operation in gradient-based attacks with negligible extra computational cost. Extensive experiments demonstrate the effectiveness of our methods. Specifically, ours outperform them by \textbf{27.5\%} at most and \textbf{9.5\%} on average. Our anonymous code is publicly available: \url{https://git.io/mm-fgnm}.
• Abstract（参考訳）: 敵攻撃は‘enquote{fooling} DNNsで成功し、その中でも勾配ベースのアルゴリズムが主流となっている。 線型性仮説~\cite{fgsm} に基づき、$\ell_\infty$ 制約の下で、勾配に適用された$sign$ 演算は摂動を生成するのによい選択である。 しかし、そのような操作による副作用は、実際の勾配と摂動の間の方向のバイアスをもたらすため存在する。 言い換えれば、現在の手法は実際の勾配と実際の雑音の間にギャップがあり、バイアスと非効率な攻撃をもたらす。 そこで本研究では,Taylor展開に基づいて理論的にバイアスを解析し,FGNM法($\sign$, \ie, Fast Gradient Non-sign Method)の補正を提案する。 特に、FGNMは一般的なルーチンであり、勾配ベースの攻撃における従来の$sign$演算を無視できる余分な計算コストでシームレスに置き換えることができる。 広範な実験により本手法の有効性が実証された。 具体的には、最大で \textbf{27.5\%} 、平均で \textbf{9.5\%} でそれらを上回る。 匿名コードは、 \url{https://git.io/mm-fgnm} で公開されている。

関連論文リスト

• Novel Gradient Sparsification Algorithm via Bayesian Inference [27.246907664193156]
  本稿では,誤り蓄積の学習速度スケーリングを制御する,正規化Top-$k$(RegTop-$k$)と呼ばれる新しいスペーシフィケーションアルゴリズムを提案する。 CIFAR-10のResNet-18による数値実験では、RegTop-$k$は標準のTop-$k$よりも8%高い精度で達成されている。
  論文  参考訳（メタデータ） (2024-09-23T10:42:34Z)
• Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
  本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
  論文  参考訳（メタデータ） (2023-12-03T02:26:58Z)
• Generalization Bounds for Gradient Methods via Discrete and Continuous Prior [8.76346911214414]
  次数$O(frac1n + fracL2nsum_t=1T(gamma_t/varepsilon_t)2)$の新たな高確率一般化境界を示す。 また、あるSGDの変種に対する新しい境界を得ることもできる。
  論文  参考訳（メタデータ） (2022-05-27T07:23:01Z)
• ProxSkip: Yes! Local Gradient Steps Provably Lead to Communication Acceleration! Finally! [6.170898159041277]
  ProxSkipは、スムーズな(f$)関数と高価な非滑らかな(psi$)関数の和を最小化する驚くほどシンプルで、証明可能な効率のよい方法である。 我々の主な動機は、勾配演算子の評価が、すべてのデバイスで独立して局所的なGDステップを取ることに対応する、連合学習にある。
  論文  参考訳（メタデータ） (2022-02-18T18:56:05Z)
• Restarted Nonconvex Accelerated Gradient Descent: No More Polylogarithmic Factor in the $O(\epsilon^{-7/4})$ Complexity [70.65867695317633]
  本稿では,2つの単純な加速勾配法,再発進勾配降下法(AGD)と再発進球法(HB)を提案する。 我々は、我々の手法が$frac1epsilon)$の勾配反復数を達成することを確証する。 我々のアルゴリズムは、ネストフの古典的なAGDオークのHBと再起動機構のみからなるという意味では単純である。
  論文  参考訳（メタデータ） (2022-01-27T10:04:04Z)
• Staircase Sign Method for Boosting Adversarial Attacks [123.19227129979943]
  トランスファーベースの攻撃の敵の例を作るのは難しいし、研究のホットスポットだ。 そこで本研究では,この問題を緩和するための新しい階段サイン法(S$2$M)を提案する。 我々の手法は一般に転送ベースの攻撃と統合することができ、計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2021-04-20T02:31:55Z)
• Correcting Momentum with Second-order Information [50.992629498861724]
  最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。 我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
  論文  参考訳（メタデータ） (2021-03-04T19:01:20Z)
• Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
  過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。 以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-22T00:32:12Z)
• The Geometry of Sign Gradient Descent [29.8753797565422]
  分離可能滑らか性と $ell_infty$-smoothness との密接な関係を示し、後者はより弱でより自然な仮定であると主張する。 次に、 $ell_infty$-norm に関する滑らか性定数の研究を進め、目的関数の幾何学的性質を分離する。 つまり、(i)Hessianがその対角線に集中していること、(ii)その最大固有値が平均固有値よりもはるかに大きいこと。
  論文  参考訳（メタデータ） (2020-02-19T08:45:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。