論文の概要: Toward Few-step Adversarial Training from a Frequency Perspective

• arxiv url: http://arxiv.org/abs/2010.06545v1
• Date: Tue, 13 Oct 2020 16:53:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 23:04:53.492599
• Title: Toward Few-step Adversarial Training from a Frequency Perspective
• Title（参考訳）: 周波数に着目したマイナステップ・アドバーサリートレーニングに向けて
• Authors: Hans Shih-Han Wang, Cory Cornelius, Brandon Edwards, Jason Martin
• Abstract要約: 周波数領域から見た逆サンプル生成法について検討する。 標準の$l_infty$ Projected Gradient Descent (PGD) を周波数領域に拡張する。 提案手法はSPGD (Spectral Projected Gradient Descent) と呼ばれ,早期段階におけるPGDよりも良好な成功率を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We investigate adversarial-sample generation methods from a frequency domain perspective and extend standard $l_{\infty}$ Projected Gradient Descent (PGD) to the frequency domain. The resulting method, which we call Spectral Projected Gradient Descent (SPGD), has better success rate compared to PGD during early steps of the method. Adversarially training models using SPGD achieves greater adversarial accuracy compared to PGD when holding the number of attack steps constant. The use of SPGD can, therefore, reduce the overhead of adversarial training when utilizing adversarial generation with a smaller number of steps. However, we also prove that SPGD is equivalent to a variant of the PGD ordinarily used for the $l_{\infty}$ threat model. This PGD variant omits the sign function which is ordinarily applied to the gradient. SPGD can, therefore, be performed without explicitly transforming into the frequency domain. Finally, we visualize the perturbations SPGD generates and find they use both high and low-frequency components, which suggests that removing either high-frequency components or low-frequency components is not an effective defense.
• Abstract（参考訳）: 周波数領域の観点からadversarial-sample生成法を調査し、標準の$l_{\infty}$射影勾配降下 (pgd) を周波数領域に拡張する。 提案手法は,SPGD (Spectral Projected Gradient Descent) とよばれる手法であり,この手法の初期段階においてPGDよりも成功率が高い。 SPGDを用いた逆トレーニングモデルは、攻撃ステップ数を一定にするとPGDよりも高い逆精度が得られる。 したがって、SPGDの使用は、少ないステップで対向生成を利用する場合の対向訓練のオーバーヘッドを軽減することができる。 しかし、我々はまたspgdが通常$l_{\infty}$脅威モデルで使用されるpgdの変種と等価であることを証明している。 このPGD変種は、通常勾配に適用される符号関数を省略する。 したがって、SPGDは周波数領域に明示的に変換することなく実行できる。 最後に, SPGD が生成する摂動を可視化し, 高周波成分と低周波成分の両方を用いていることから, 高周波成分と低周波成分の除去が効果的な防御策ではないことが示唆された。

関連論文リスト

• Low-Rank Adversarial PGD Attack [4.8060720224247735]
  Projected Gradient Descentはコンピュータビジョンにおいて広く採用されている手法である。 低ランク攻撃を効率的に計算するPGDのバリエーションを提案する。 低ランクのPGDは、従来のフルランクのPGD攻撃と互換性があり、時には相容れない。
  論文  参考訳（メタデータ） (2024-10-16T14:24:51Z)
• Inverse-Free Fast Natural Gradient Descent Method for Deep Learning [52.0693420699086]
  本稿では,第1期における逆転のみを必要とする高速な自然勾配降下法を提案する。 FNGDは1次法の平均和と類似性を示し、FNGDの計算複雑性は1次法に匹敵する。
  論文  参考訳（メタデータ） (2024-03-06T05:13:28Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Inference and Interference: The Role of Clipping, Pruning and Loss Landscapes in Differentially Private Stochastic Gradient Descent [13.27004430044574]
  ディファレンシャル・プライベート勾配降下(DP-SGD)は、大規模なニューラルネットワーク上でのトレーニングとテスト性能が劣っていることが知られている。 初期と後期の2つのプロセスの挙動を別々に比較する。 DP-SGDは初期進行が遅いが, 最終結果を決定するのは後期の行動であることがわかった。
  論文  参考訳（メタデータ） (2023-11-12T13:31:35Z)
• LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral Image Generation with Variance Regularization [72.4394510913927]
  ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。 GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。 この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。 本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
  論文  参考訳（メタデータ） (2023-04-29T00:25:02Z)
• Post-Processing Temporal Action Detection [134.26292288193298]
  時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。 この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。 モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-27T19:50:37Z)
• Anticorrelated Noise Injection for Improved Generalization [6.970991851511823]
  勾配降下(GD)に人工ノイズを注入することで、機械学習モデルの性能を向上させることが一般的である。 しかし、これが最適かどうか、あるいは他の種類のノイズがより良い一般化性能を提供できるかどうかは不明である。 我々は,抗相関性摂動(Anti-PGD)を持つGDが,GDと標準(非相関性)PGDよりもはるかに良く一般化することを示す,様々な目的関数を考察する。
  論文  参考訳（メタデータ） (2022-02-06T18:52:21Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。