論文の概要: Decentralized Stochastic Subgradient Methods for Nonsmooth Nonconvex Optimization
- arxiv url: http://arxiv.org/abs/2403.11565v2
- Date: Thu, 27 Jun 2024 10:07:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-28 19:26:56.944479
- Title: Decentralized Stochastic Subgradient Methods for Nonsmooth Nonconvex Optimization
- Title（参考訳）: 非滑らかな非凸最適化のための分散確率勾配法
- Authors: Siyuan Zhang, Nachuan Xiao, Xin Liu,
- Abstract要約: 本稿では,ニューラルネットワークに対する分散的下位段階学習のためのフレームワークを提案する。
提案するフレームワークは,ニューラルネットワークをトレーニング時間に含めることを保証している。
- 参考スコア（独自算出の注目度）: 10.278310909980576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we concentrate on decentralized optimization problems with nonconvex and nonsmooth objective functions, especially on the decentralized training of nonsmooth neural networks. We introduce a unified framework to analyze the global convergence of decentralized stochastic subgradient-based methods. We prove the global convergence of our proposed framework under mild conditions, by establishing that the generated sequence asymptotically approximates the trajectories of its associated differential inclusion. Furthermore, we establish that our proposed framework covers a wide range of existing efficient decentralized subgradient-based methods, including decentralized stochastic subgradient descent (DSGD), DSGD with gradient-tracking technique (DSGD-T), and DSGD with momentum (DSGD-M). In addition, we introduce the sign map to regularize the update directions in DSGD-M, and show it is enclosed in our proposed framework. Consequently, our convergence results establish, for the first time, global convergence of these methods when applied to nonsmooth nonconvex objectives. Preliminary numerical experiments demonstrate that our proposed framework yields highly efficient decentralized subgradient-based methods with convergence guarantees in the training of nonsmooth neural networks.
- Abstract（参考訳）: 本稿では,非凸および非平滑な目的関数を用いた分散最適化問題,特に非平滑なニューラルネットワークの分散トレーニングに焦点をあてる。
本稿では,分散確率下次手法のグローバル収束を解析するための統一フレームワークを提案する。
生成した系列が関連する差分包摂の軌跡を漸近的に近似することを確立することで、軽度条件下で提案する枠組みのグローバル収束を証明した。
さらに,本提案手法は,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD ,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGDとDSGD,DSGD-M,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSGD,DSG,DSGD,DSGD,DSD,DSG,D SGD,DSD,DSGD,DS
さらに,DSGD-Mの更新方向を正規化するためのサインマップを導入し,提案フレームワークに格納されていることを示す。
その結果,非滑らかな非凸対象に適用した場合に,これらの手法のグローバル収束を初めて確立した。
予備的な数値実験により,提案手法は非滑らかなニューラルネットワークのトレーニングにおいて,収束性を保証する高効率な分散的下位段階法を導出することを示した。
関連論文リスト
- Rethinking Clustered Federated Learning in NOMA Enhanced Wireless
Networks [60.09912912343705]
本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。
データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。
非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
論文 参考訳（メタデータ） (2024-03-05T17:49:09Z) - FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse
optimisation on Measures [1.9950682531209156]
本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。
i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
論文 参考訳（メタデータ） (2023-12-10T20:41:43Z) - Stability and Generalization of the Decentralized Stochastic Gradient
Descent Ascent Algorithm [80.94861441583275]
本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。
本研究は,D-SGDAの一般化における各因子の影響を解析した。
また、最適凸凹設定を得るために一般化とバランスをとる。
論文 参考訳（メタデータ） (2023-10-31T11:27:01Z) - SGD-type Methods with Guaranteed Global Stability in Nonsmooth Nonconvex Optimization [3.0586855806896045]
次階降下(SGD)の変種に対する収束保証を提供する。
まず, 一般手法の下位段階法における大域的安定性を確立するための一般的な枠組みを開発する。
次に,正規化更新方向を持つ差分型手法の開発手法を提案する。
論文 参考訳（メタデータ） (2023-07-19T15:26:18Z) - A Neural Network-Based Enrichment of Reproducing Kernel Approximation
for Modeling Brittle Fracture [0.0]
脆性破壊をモデル化するためのニューラルネットワーク強化再生カーネル粒子法(NN-RKPM)の改良版を提案する。
提案手法の有効性は,損傷伝播と分岐を含む一連の数値例によって実証された。
論文 参考訳（メタデータ） (2023-07-04T21:52:09Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex
Models and Heterogeneous Data [0.261072980439312]
非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。
理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
論文 参考訳（メタデータ） (2023-03-01T02:13:22Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳（メタデータ） (2022-09-19T18:48:00Z) - Optimal Rates for Averaged Stochastic Gradient Descent under Neural
Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。
本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文 参考訳（メタデータ） (2020-06-22T14:31:37Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳（メタデータ） (2020-06-11T18:49:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。