論文の概要: On Distributed Non-convex Optimization: Projected Subgradient Method For Weakly Convex Problems in Networks

• arxiv url: http://arxiv.org/abs/2004.13233v2
• Date: Tue, 23 Feb 2021 20:32:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 22:33:31.376054
• Title: On Distributed Non-convex Optimization: Projected Subgradient Method For Weakly Convex Problems in Networks
• Title（参考訳）: 分散非凸最適化について:ネットワークの弱凸問題に対する計画次法
• Authors: Shixiang Chen, Alfredo Garcia and Shahin Shahrampour
• Abstract要約: Moreau subgradient 法は、機械学習における線形シャープネス問題を収束させる。 理論的保証を伴う下位段階法の分散実装を提案する。
• 参考スコア（独自算出の注目度）: 13.385373310554327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The stochastic subgradient method is a widely-used algorithm for solving large-scale optimization problems arising in machine learning. Often these problems are neither smooth nor convex. Recently, Davis et al. [1-2] characterized the convergence of the stochastic subgradient method for the weakly convex case, which encompasses many important applications (e.g., robust phase retrieval, blind deconvolution, biconvex compressive sensing, and dictionary learning). In practice, distributed implementations of the projected stochastic subgradient method (stoDPSM) are used to speed-up risk minimization. In this paper, we propose a distributed implementation of the stochastic subgradient method with a theoretical guarantee. Specifically, we show the global convergence of stoDPSM using the Moreau envelope stationarity measure. Furthermore, under a so-called sharpness condition, we show that deterministic DPSM (with a proper initialization) converges linearly to the sharp minima, using geometrically diminishing step-size. We provide numerical experiments to support our theoretical analysis.
• Abstract（参考訳）: 確率勾配法は機械学習における大規模最適化問題の解法として広く用いられているアルゴリズムである。 これらの問題はスムーズでも凸でもないことが多い。 最近、デイビスら。 1-2] は, 多くの重要な応用(ロバスト相検索, ブラインドデコンボリューション, 双凸圧縮センシング, 辞書学習など)を包含する弱凸の場合の確率的劣勾配法の収束を特徴とした。 実際に、リスク最小化を高速化するために、投射確率勾配法(stoDPSM)の分散実装を用いる。 本稿では,確率的下位勾配法を理論的に保証した分散実装を提案する。 具体的には,モロー封筒定常度尺度を用いて,StoDPSMのグローバル収束を示す。 さらに, いわゆるシャープネス条件下では, 決定論的DPSM(適切な初期化)は, 形状的に小さくなるステップサイズを用いて, シャープミニマに線形に収束することを示す。 理論解析を支援するために数値実験を行う。

関連論文リスト

• Riemannian Federated Learning via Averaging Gradient Stream [8.75592575216789]
  本稿では,RFedAGS(Federated Averaging Gradient Stream)アルゴリズムの開発と解析を行う。 合成および実世界のデータを用いて数値シミュレーションを行い,提案したRFedAGSの性能を実証した。
  論文  参考訳（メタデータ） (2024-09-11T12:28:42Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Diffusion Stochastic Optimization for Min-Max Problems [33.73046548872663]
  楽観的勾配法はミニマックス最適化問題に対処するのに有用である。 従来のバージョンでは大きなバッチサイズが必要であり,Samevareps-generativeOGOGと呼ばれる新しい定式化を導入,解析する。
  論文  参考訳（メタデータ） (2024-01-26T01:16:59Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Near-Optimal Decentralized Momentum Method for Nonconvex-PL Minimax Problems [39.197569803430646]
  最小限の最適化は、敵対的ネットワーク(GAN)や敵対的トレーニングなど、多くの機械学習タスクにおいて重要な役割を果たす。 近年,ミニマックス問題の解法として多種多様な最適化手法が提案されているが,そのほとんどは分散設定を無視している。
  論文  参考訳（メタデータ） (2023-04-21T11:38:41Z)
• Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
  本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。 提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
  論文  参考訳（メタデータ） (2022-10-23T23:23:23Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
  多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。 ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
  論文  参考訳（メタデータ） (2021-05-08T22:38:00Z)
• Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
  無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。 リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。 このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
  論文  参考訳（メタデータ） (2021-02-27T19:28:39Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。