論文の概要: SGDA with shuffling: faster convergence for nonconvex-P{\L} minimax optimization

• arxiv url: http://arxiv.org/abs/2210.05995v1
• Date: Wed, 12 Oct 2022 08:05:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 15:31:17.461654
• Title: SGDA with shuffling: faster convergence for nonconvex-P{\L} minimax optimization
• Title（参考訳）: シャッフル付きSGDA:非凸P{\L}極小最適化のための高速収束
• Authors: Hanseul Cho, Chulhee Yun
• Abstract要約: 逐次降下勾配(SGDA)を用いた最小最適化問題に対する理論的アプローチを提案する。 我々は,ポリアック・ロジャシエヴィチ(PL)幾何を用いて,非凹凸対象に対するSGDA-LLの同時的および交互的目的を解析した。 我々のレートはミニバッチGDARRにも拡張され、完全な勾配勾配降下勾配 (GDA) の既知率はほとんど回復しない。 最後に, 2 時間スケール GDA の包括的下限について述べる。
• 参考スコア（独自算出の注目度）: 18.668531108219415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient descent-ascent (SGDA) is one of the main workhorses for solving finite-sum minimax optimization problems. Most practical implementations of SGDA randomly reshuffle components and sequentially use them (i.e., without-replacement sampling); however, there are few theoretical results on this approach for minimax algorithms, especially outside the easier-to-analyze (strongly-)monotone setups. To narrow this gap, we study the convergence bounds of SGDA with random reshuffling (SGDA-RR) for smooth nonconvex-nonconcave objectives with Polyak-{\L}ojasiewicz (P{\L}) geometry. We analyze both simultaneous and alternating SGDA-RR for nonconvex-P{\L} and primal-P{\L}-P{\L} objectives, and obtain convergence rates faster than with-replacement SGDA. Our rates also extend to mini-batch SGDA-RR, recovering known rates for full-batch gradient descent-ascent (GDA). Lastly, we present a comprehensive lower bound for two-time-scale GDA, which matches the full-batch rate for primal-P{\L}-P{\L} case.
• Abstract（参考訳）: 確率勾配降下度(SGDA)は有限サム最小値最適化問題の解法の一つである。 SGDAのほとんどの実践的な実装は、ランダムに部品をリシャッフルし、それらを逐次使用する(すなわち、非置換サンプリング)が、ミニマックスアルゴリズムに対するこのアプローチに関する理論的結果はほとんどない。 このギャップを狭めるために、Polyak-{\L}ojasiewicz (P{\L}) 幾何を用いた滑らかな非凸非凹面対象に対するランダムリシャッフル(SGDA-RR)によるSGDAの収束境界について検討する。 非凸-p{\l} 目的と原始-p{\l}-p{\l} 目的の同時および交代 sgda-rr を解析し,再配置 sgda よりも高速に収束率を得る。 また,SGDA-RRは,全バッチ勾配勾配上昇(GDA)の既知速度を回復する。 最後に, P{\L}-P{\L} の場合の完全バッチ速度と一致する 2 時間スケール GDA の包括的下限を示す。

関連論文リスト

• Langevin Dynamics: A Unified Perspective on Optimization via Lyapunov Potentials [15.718093624695552]
  我々は、リアプノフポテンシャルと最適化に基づいて、グラディエント・ランゲヴィン・ダイナミクス(SGLD)のグローバル・ミニマへの収束を分析する。 2) SGLD に対する最初の有限勾配複雑性、3) 連続時間ランゲヴィンダイナミクスが最適化に成功するなら、次に離散時間 SGLD が穏やかな正則性仮定の下で成功することを証明する。
  論文  参考訳（メタデータ） (2024-07-05T05:34:10Z)
• A Communication-efficient Algorithm with Linear Convergence for Federated Minimax Learning [1.713291434132985]
  GAN(Geneimation Adversarial Networks)をモデル化した大規模マルチエージェントミニマックス最適化問題について検討する。 全体的な目的は、エージェントのプライベートなローカルな目的関数の総和である。 我々は,FedGDA-GTが,大域的な$epsilon GDA解に一定のステップサイズで線形収束することを示した。
  論文  参考訳（メタデータ） (2022-06-02T16:31:16Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• Randomized Stochastic Gradient Descent Ascent [37.887266927498395]
  既存のアルゴリズムの堅牢性や逆転性といった機械学習問題の増加には、損失関数を最小化する必要がある。 より単純な理論解析によるループサイズを持つESGDAの変種であるRSGDA(Randomized SGD)を提案する。
  論文  参考訳（メタデータ） (2021-11-25T16:44:19Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Proximal Gradient Descent-Ascent: Variable Convergence under K{\L} Geometry [49.65455534654459]
  有限降下指数パラメータ (GDA) はミニマックス最適化問題の解法として広く応用されている。 本稿では、KL-L型幾何学の収束を研究することにより、そのようなギャップを埋める。
  論文  参考訳（メタデータ） (2021-02-09T05:35:53Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)
• Minibatch vs Local SGD for Heterogeneous Distributed Learning [28.80878557506603]
  この環境では、Minibatch SGDがLocal SGDの既存の分析を全て支配していると論じる。 非均一な状態下で, ミニバッチSGDよりも改善された局所SGDの第一上界を示す。
  論文  参考訳（メタデータ） (2020-06-08T16:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。