論文の概要: Distributed Stochastic Consensus Optimization with Momentum for Nonconvex Nonsmooth Problems

• arxiv url: http://arxiv.org/abs/2011.05082v1
• Date: Tue, 10 Nov 2020 13:12:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 08:25:58.134413
• Title: Distributed Stochastic Consensus Optimization with Momentum for Nonconvex Nonsmooth Problems
• Title（参考訳）: 非凸非平滑問題に対するモーメントを用いた分散確率的合意最適化
• Authors: Zhiguo Wang, Jiawei Zhang, Tsung-Hui Chang, Jian Li and Zhi-Quan Luo
• Abstract要約: 本稿では,非滑らかな問題に対する分散最適化アルゴリズムを提案する。 提案アルゴリズムは,過度な通信を実現することができることを示す。 提案アルゴリズムの有効性を示す実験を行った。
• 参考スコア（独自算出の注目度）: 45.88640334610308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While many distributed optimization algorithms have been proposed for solving smooth or convex problems over the networks, few of them can handle non-convex and non-smooth problems. Based on a proximal primal-dual approach, this paper presents a new (stochastic) distributed algorithm with Nesterov momentum for accelerated optimization of non-convex and non-smooth problems. Theoretically, we show that the proposed algorithm can achieve an $\epsilon$-stationary solution under a constant step size with $\mathcal{O}(1/\epsilon^2)$ computation complexity and $\mathcal{O}(1/\epsilon)$ communication complexity. When compared to the existing gradient tracking based methods, the proposed algorithm has the same order of computation complexity but lower order of communication complexity. To the best of our knowledge, the presented result is the first stochastic algorithm with the $\mathcal{O}(1/\epsilon)$ communication complexity for non-convex and non-smooth problems. Numerical experiments for a distributed non-convex regression problem and a deep neural network based classification problem are presented to illustrate the effectiveness of the proposed algorithms.
• Abstract（参考訳）: ネットワーク上で滑らかあるいは凸な問題を解決するために多くの分散最適化アルゴリズムが提案されているが、非凸および非滑らかな問題を処理できるものは少ない。 本稿では,非凸および非スムース問題の最適化を高速化するために,ネステロフ運動量を持つ(統計的)分散アルゴリズムを提案する。 理論上,提案手法は,計算複雑性が$\mathcal{o}(1/\epsilon^2)$,通信複雑性が$\mathcal{o}(1/\epsilon)$で,一定のステップサイズで$\epsilon$定常解を実現できることを示す。 従来の勾配追跡法と比較すると,提案アルゴリズムは計算複雑性は同じだが通信複雑性は低い。 我々の知る限りでは、提示された結果は非凸および非スムース問題に対する$\mathcal{o}(1/\epsilon)$通信複雑性を持つ最初の確率的アルゴリズムである。 提案手法の有効性を示すために,分散非凸回帰問題とディープニューラルネットワークに基づく分類問題に対する数値実験を行った。

関連論文リスト

• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• An Accelerated Stochastic Algorithm for Solving the Optimal Transport Problem [2.1485350418225244]
  線形制約付き最適化問題を解くために,分散低減アルゴリズム (PDASGD) を用いた一次2次元加速勾配降下法を提案する。 PDASGDは最もよく知られた計算複雑性を享受しており、$widetildemathcalO(n2/epsilon)$、$n$は原子の数、$epsilon>0$は精度である。
  論文  参考訳（メタデータ） (2022-03-02T01:16:10Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Randomized Stochastic Variance-Reduced Methods for Stochastic Bilevel Optimization [62.87181271021217]
  機械学習に多くの応用がある非SBO問題を考察する。 本稿では,非SBO問題に対する高速ランダム化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-05T18:28:42Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Optimal Algorithms for Convex Nested Stochastic Composite Optimization [13.200502573462712]
  凸ネスト複合最適化 (NSCO) は、強化学習およびリスク-逆最適化におけるその応用に多大な注目を集めている。 現在の NSCO アルゴリズムは、ネスト構造を持たない単純な合成最適化問題よりも、桁違いに、オラクルの複雑さが悪化している。 我々は、滑らかで構造化された非滑らかで一般の非滑らかな層関数からなる任意の構成から構成した凸 NSCO 問題に対する順序最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-11-19T19:22:58Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Optimal and Practical Algorithms for Smooth and Strongly Convex Decentralized Optimization [21.555331273873175]
  ネットワークのノードにまたがるスムーズな凸関数の和を分散化最小化する作業について検討する。 本稿では,この分散最適化問題に対する2つの新しいアルゴリズムを提案し,複雑性を保証する。
  論文  参考訳（メタデータ） (2020-06-21T11:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。