論文の概要: Adapting Step-size: A Unified Perspective to Analyze and Improve
Gradient-based Methods for Adversarial Attacks
- arxiv url: http://arxiv.org/abs/2301.11546v1
- Date: Fri, 27 Jan 2023 06:17:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 16:22:34.380401
- Title: Adapting Step-size: A Unified Perspective to Analyze and Improve
Gradient-based Methods for Adversarial Attacks
- Title（参考訳）: ステップサイズ適応 : 逆攻撃に対する勾配に基づく手法の分析と改善のための統一的視点
- Authors: Wei Tao, Lei Bao, Long Sheng, Gaowei Wu, Qing Tao
- Abstract要約: 勾配に基づく逆学習手法の統一的理論的解釈を提供する。
これらのアルゴリズムのそれぞれが、実際には、元の勾配法の特定の再構成であることを示す。
正規勾配法に基づく適応勾配に基づくアルゴリズムの幅広いクラスを示す。
- 参考スコア（独自算出の注目度）: 19.853014806806936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning adversarial examples can be formulated as an optimization problem of
maximizing the loss function with some box-constraints. However, for solving
this induced optimization problem, the state-of-the-art gradient-based methods
such as FGSM, I-FGSM and MI-FGSM look different from their original methods
especially in updating the direction, which makes it difficult to understand
them and then leaves some theoretical issues to be addressed in viewpoint of
optimization. In this paper, from the perspective of adapting step-size, we
provide a unified theoretical interpretation of these gradient-based
adversarial learning methods. We show that each of these algorithms is in fact
a specific reformulation of their original gradient methods but using the
step-size rules with only current gradient information. Motivated by such
analysis, we present a broad class of adaptive gradient-based algorithms based
on the regular gradient methods, in which the step-size strategy utilizing
information of the accumulated gradients is integrated. Such adaptive step-size
strategies directly normalize the scale of the gradients rather than use some
empirical operations. The important benefit is that convergence for the
iterative algorithms is guaranteed and then the whole optimization process can
be stabilized. The experiments demonstrate that our AdaI-FGM consistently
outperforms I-FGSM and AdaMI-FGM remains competitive with MI-FGSM for black-box
attacks.
- Abstract（参考訳）: 学習逆例は、ボックス制約で損失関数を最大化する最適化問題として定式化することができる。
しかし、この誘導最適化問題を解決するために、FGSM、I-FGSM、MI-FGSMといった最先端の勾配に基づく手法は、特に方向の更新において、元の手法とは異なるように見える。
本稿では,ステップサイズ適応の観点から,これらの勾配に基づく逆学習手法の統一的な理論的解釈を提案する。
これらのアルゴリズムのそれぞれが,現在の勾配情報のみを含むステップサイズルールを用いて,元の勾配法の具体的再構成であることを示す。
このような分析により、正規勾配法に基づく適応勾配に基づくアルゴリズムの幅広いクラスを示し、蓄積した勾配の情報を利用したステップサイズ戦略を統合する。
このような適応的なステップサイズ戦略は、経験的な操作を使うのではなく、勾配のスケールを直接正規化する。
重要な利点は、反復アルゴリズムの収束が保証され、最適化プロセス全体が安定化できることである。
実験の結果、我々のAdaI-FGMは一貫してI-FGSMより優れており、AdaMI-FGMはブラックボックス攻撃のMI-FGSMと競合していることがわかった。
関連論文リスト
- Optimization Landscape of Policy Gradient Methods for Discrete-time
Static Output Feedback [22.21598324895312]
本稿では,静的な出力フィードバック制御に適用した場合に,ポリシー勾配法に固有の最適化環境を解析する。
3つの政策勾配法に対する定常点への収束(およびほぼ次元自由率)に関する新しい知見を導出する。
我々は,バニラポリシー勾配法が,そのようなミニマに近づいた場合,局所最小マに対して線形収束を示すことを示す。
論文 参考訳（メタデータ） (2023-10-29T14:25:57Z) - A Principle for Global Optimization with Gradients [0.0]
この研究は、多くの準最適局所ミニマを持つある微分可能関数の大域的最適化のための勾配の効用を示す。
実験は、非局所探索方向の品質と、提案した単純化アルゴリズムの性能を測定する。
論文 参考訳（メタデータ） (2023-08-18T13:39:29Z) - Adaptive Proximal Gradient Method for Convex Optimization [18.681222155879656]
凸最適化における2つの基本的な一階法、すなわち勾配降下法(GD)と近位勾配法(ProxGD)について検討する。
我々の焦点は、スムーズな関数の局所曲率情報を活用することによって、これらのアルゴリズムを完全に適応させることである。
本稿では,GD と ProxGD の適応バージョンを提案する。
論文 参考訳（メタデータ） (2023-08-04T11:37:08Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳（メタデータ） (2023-03-31T02:10:30Z) - SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。
特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文 参考訳（メタデータ） (2021-06-15T15:16:28Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳（メタデータ） (2021-04-12T13:13:34Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - An adaptive stochastic gradient-free approach for high-dimensional
blackbox optimization [0.0]
本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。
本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
論文 参考訳（メタデータ） (2020-06-18T22:47:58Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z) - On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。
解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文 参考訳（メタデータ） (2018-08-16T20:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。