Fugu-MT 論文翻訳(概要): Accelerating Adversarial Perturbation by 50% with Semi-backward Propagation

論文の概要: Accelerating Adversarial Perturbation by 50% with Semi-backward Propagation

arxiv url: http://arxiv.org/abs/2211.04973v1
Date: Wed, 9 Nov 2022 15:38:50 GMT
ステータス: 処理完了
システム内更新日: 2022-11-10 17:58:43.324032
Title: Accelerating Adversarial Perturbation by 50% with Semi-backward Propagation
Title（参考訳）: 半後方伝播による逆行性摂動の50%加速
Authors: Zhiqi Bu
Abstract要約: 対数ロバストネス最適化は、入力データに対する摂動問題を解く対数ロバストネスの分野において重要な役割を果たす。出力のみを計算するが、後方伝搬の勾配を計算しない場合、フォワード伝搬を含む全体的な最適化は、ユーティリティドロップなしで1.5times$を加速できることを示す。
参考スコア（独自算出の注目度）: 9.13755431537592
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adversarial perturbation plays a significant role in the field of adversarial robustness, which solves a maximization problem over the input data. We show that the backward propagation of such optimization can accelerate $2\times$ (and thus the overall optimization including the forward propagation can accelerate $1.5\times$), without any utility drop, if we only compute the output gradient but not the parameter gradient during the backward propagation.
Abstract（参考訳）: 対向摂動は、入力データに対する最大化問題を解く対向ロバストネスの分野において重要な役割を果たす。このような最適化の後方伝播は,出力勾配しか計算しないが,後方伝搬のパラメータ勾配を計算しない場合,$2\times$(従って前方伝播を含む全体的な最適化は$1.5\times$)を加速できることを示す。

関連論文リスト

Leveraging Continuous Time to Understand Momentum When Training Diagonal Linear Networks [21.176224458126285]
ステップサイズ$gamma$と運動量パラメータ$beta$を用いて運動量勾配勾配の解析に連続時間アプローチを用いる。私たちは、$lambda$の小さな値がスパースソリューションの回復に役立つことを証明しています。
論文参考訳（メタデータ） (2024-03-08T13:21:07Z)
Posterior Sampling with Delayed Feedback for Reinforcement Learning with Linear Function Approximation [62.969796245827006]
Delayed-PSVI は楽観的な値に基づくアルゴリズムであり、後続サンプリングによる雑音摂動により値関数空間を探索する。我々のアルゴリズムは、未知の遅延が存在する場合に、$widetildeO(sqrtd3H3 T + d2H2 E[tau]$最悪の後悔を実現する。遅延LPSVIのための勾配に基づく近似サンプリングスキームをLangevin動的に組み込んだ。
論文参考訳（メタデータ） (2023-10-29T06:12:43Z)
Sampling-based Fast Gradient Rescaling Method for Highly Transferable Adversarial Attacks [19.917677500613788]
勾配ベースのアプローチは一般的に、プロセスの最後に摂動を生成するために$sign$関数を使用する。そこで本研究では,S-FGRM(Saming-based Fast Gradient Rescaling Method)を提案する。
論文参考訳（メタデータ） (2022-04-06T15:12:20Z)
Gradients without Backpropagation [16.928279365071916]
本稿では、フォワードモードによって正確に効率的に計算できる方向微分のみに基づいて勾配を計算する方法を提案する。様々な問題において前方降下勾配を示し、計算の大幅な削減を示し、場合によっては最大2倍の速さで訓練を可能にする。
論文参考訳（メタデータ） (2022-02-17T11:07:55Z)
Domain Adversarial Training: A Game Perspective [80.3821370633883]
本稿では,ゲーム理論の観点から,ドメイン・アドバイザ・トレーニングにおける最適解を定義する。ドメイン・アドバイザリ・トレーニングにおける降下は、グラデーションの収束保証に違反し、しばしば転送性能を損なう可能性があることを示す。実装は簡単で、追加のパラメータが不要で、あらゆるドメイン・アドバイザリ・フレームワークにプラグインすることができます。
論文参考訳（メタデータ） (2022-02-10T22:17:30Z)
Fast Margin Maximization via Dual Acceleration [52.62944011696364]
指数関数的尾の損失を持つ線形分類器を訓練するための運動量に基づく手法を提案し,解析する。この運動量に基づく法は、最大マルジン問題の凸双対、特にこの双対にネステロフ加速度を適用することによって導出される。
論文参考訳（メタデータ） (2021-07-01T16:36:39Z)
Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
論文参考訳（メタデータ） (2021-05-04T17:31:28Z)
Deriving Differential Target Propagation from Iterating Approximate Inverses [91.3755431537592]
本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
論文参考訳（メタデータ） (2020-07-29T22:34:45Z)
Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文参考訳（メタデータ） (2020-06-16T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。