論文の概要: Semi-Implicit Hybrid Gradient Methods with Application to Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2202.10523v1
• Date: Mon, 21 Feb 2022 20:27:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 14:22:25.743144
• Title: Semi-Implicit Hybrid Gradient Methods with Application to Adversarial Robustness
• Title（参考訳）: 半インプシットハイブリッド勾配法と対向ロバストネスへの応用
• Authors: Beomsu Kim, Junghoon Seo
• Abstract要約: 入力に知覚不可能な摂動を加えることで構築された敵対的な例は、ディープニューラルネットワーク(DNN)を簡単に騙すことができる 本研究では,非競合性ニューラル問題の定常点を保証する半単純ハイブリッド法(SIHG)の開発を一般化する。
• 参考スコア（独自算出の注目度）: 16.92858847399992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial examples, crafted by adding imperceptible perturbations to natural inputs, can easily fool deep neural networks (DNNs). One of the most successful methods for training adversarially robust DNNs is solving a nonconvex-nonconcave minimax problem with an adversarial training (AT) algorithm. However, among the many AT algorithms, only Dynamic AT (DAT) and You Only Propagate Once (YOPO) guarantee convergence to a stationary point. In this work, we generalize the stochastic primal-dual hybrid gradient algorithm to develop semi-implicit hybrid gradient methods (SI-HGs) for finding stationary points of nonconvex-nonconcave minimax problems. SI-HGs have the convergence rate $O(1/K)$, which improves upon the rate $O(1/K^{1/2})$ of DAT and YOPO. We devise a practical variant of SI-HGs, and show that it outperforms other AT algorithms in terms of convergence speed and robustness.
• Abstract（参考訳）: 自然の入力に知覚不可能な摂動を加えることで構築された敵対的な例は、ディープニューラルネットワーク(DNN)を簡単に騙すことができる。 逆向きに堅牢なDNNを訓練する最も成功した方法の1つは、逆向きトレーニング(AT)アルゴリズムを用いて非凸非凹極小問題を解くことである。 しかし、多くのATアルゴリズムのうち、Dynamic AT (DAT) と You Only Propagate Once (YOPO) のみが定常点への収束を保証する。 本研究では, 半単純ハイブリッド勾配法 (SI-HGs) を用いて, 非凸非凸極小問題の定常点を求める。 SI-HG は$O(1/K)$で、DAT と YOPO の$O(1/K^{1/2})$で改善される。 我々は、SI-HGの実用的な変種を考案し、収束速度と堅牢性の観点から他のATアルゴリズムよりも優れていることを示す。

関連論文リスト

• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Convergence Analysis of Homotopy-SGD for non-convex optimization [43.71213126039448]
  ホモトピー法とSGDを組み合わせた一階述語アルゴリズム、Gradienty-Stoch Descent (H-SGD)を提案する。 いくつかの仮定の下で、提案した問題の理論的解析を行う。 実験の結果,H-SGDはSGDより優れていた。
  論文  参考訳（メタデータ） (2020-11-20T09:50:40Z)
• A Single-Loop Smoothed Gradient Descent-Ascent Algorithm for Nonconvex-Concave Min-Max Problems [33.83671897619922]
  非con-max問題は、このロバストな問題を解決するために、ポイントワイズな非函数の集合を最小化するなど、多くのアプリケーションで発生する。 A.A.アルゴリズムは、有限個の非函数の集合に対して$(/A-O-)の$(/A-O-)を達成できる。
  論文  参考訳（メタデータ） (2020-10-29T17:13:46Z)
• Accelerated Gradient Methods for Sparse Statistical Learning with Nonconvex Penalties [10.913266721195916]
  ネステロフの加速シミュレーション(AG)は、対物関数を2つ、凸損失とペナルティ関数の2つに最適化する一般的な手法である。 最近のNesterov's AGの提案は一般化しているが、統計学習問題には適用されていない。 本稿では,非AGアルゴリズムを高次元かつスパースな統計的学習問題に適用することを検討する。
  論文  参考訳（メタデータ） (2020-09-22T15:37:09Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems [39.13924898972611]
  非minimaxewicz問題は、生成的対向ネットワークと対向学習の応用において頻繁に現れる。 一定の大きさのGDAアルゴリズムは凸設定でも潜在的に分岐する可能性がある。 AGDAアルゴリズムは、サブレートに達する速度でグローバルに収束する。
  論文  参考訳（メタデータ） (2020-02-22T04:20:37Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。