論文の概要: Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex functions
- arxiv url: http://arxiv.org/abs/2403.11565v3
- Date: Fri, 09 May 2025 06:16:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-12 20:40:09.927589
- Title: Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex functions
- Title（参考訳）: 非滑らかな非凸関数に対する分散確率的次数的手法の収束性
- Authors: Siyuan Zhang, Nachuan Xiao, Xin Liu,
- Abstract要約: 本稿では,分散化サブ段階の手法を統一する汎用フレームワークを提案する。
我々は、よく認識された分散的な下位段階の手法に対する収束保証を証明した。
- 参考スコア（独自算出の注目度）: 10.278310909980576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we focus on the decentralized stochastic subgradient-based methods in minimizing nonsmooth nonconvex functions without Clarke regularity, especially in the decentralized training of nonsmooth neural networks. We propose a general framework that unifies various decentralized subgradient-based methods, such as decentralized stochastic subgradient descent (DSGD), DSGD with gradient-tracking technique (DSGD-T), and DSGD with momentum (DSGD-M). To establish the convergence properties of our proposed framework, we relate the discrete iterates to the trajectories of a continuous-time differential inclusion, which is assumed to have a coercive Lyapunov function with a stable set $\mathcal{A}$. We prove the asymptotic convergence of the iterates to the stable set $\mathcal{A}$ with sufficiently small and diminishing step-sizes. These results provide first convergence guarantees for some well-recognized of decentralized stochastic subgradient-based methods without Clarke regularity of the objective function. Preliminary numerical experiments demonstrate that our proposed framework yields highly efficient decentralized stochastic subgradient-based methods with convergence guarantees in the training of nonsmooth neural networks.
- Abstract（参考訳）: 本稿では,非滑らかな非凸関数をクラーク正規性なしで最小化するための分散確率的下次法に着目し,特に非滑らかなニューラルネットワークの分散トレーニングについて述べる。
本稿では、分散確率的下降降下(DSGD)、勾配追従技術(DSGD-T)、運動量を持つDSGD(DSGD-M)など、分散的な下位進法を統一する一般的なフレームワークを提案する。
提案したフレームワークの収束性を確立するために、離散反復を連続時間微分包含の軌跡に関連付ける。
我々は、イテレートの漸近収束を十分に小さく、ステップサイズを小さくした安定集合 $\mathcal{A}$ に証明する。
これらの結果は、目的関数のクラーク正則性を伴わない分散確率的下次法をよく認識するための最初の収束保証を与える。
予備的な数値実験により,提案手法は非滑らかなニューラルネットワークのトレーニングにおいて収束性を保証する高効率な分散確率的下次法を導出することを示した。
関連論文リスト
- Decentralized Inference for Spatial Data Using Low-Rank Models [4.168323530566095]
本稿では,空間的低ランクモデルにおけるパラメータ推論に適した分散化フレームワークを提案する。
重要な障害は、観測中の空間的依存から生じ、ログのような状態が要約として表現されるのを防ぐ。
提案手法では,効率的なパラメータ最適化のために,マルチセンサと動的コンセンサス平均化を統合したブロック降下法を用いる。
論文 参考訳（メタデータ） (2025-02-01T04:17:01Z) - Decentralized Smoothing ADMM for Quantile Regression with Non-Convex Sparse Penalties [3.269165283595478]
急速に進化するIoT(Internet-of-Things)エコシステムでは、センサによって生成された分散データを扱う上で、効果的なデータ分析技術が不可欠である。
下位段階のコンセンサスアプローチのような既存の手法の限界に対処することは、アクティブ係数と非アクティブ係数の区別に失敗する。
論文 参考訳（メタデータ） (2024-08-02T15:00:04Z) - Rethinking Clustered Federated Learning in NOMA Enhanced Wireless
Networks [60.09912912343705]
本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。
データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。
非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
論文 参考訳（メタデータ） (2024-03-05T17:49:09Z) - FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse
optimisation on Measures [1.9950682531209156]
本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。
i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
論文 参考訳（メタデータ） (2023-12-10T20:41:43Z) - Stability and Generalization of the Decentralized Stochastic Gradient
Descent Ascent Algorithm [80.94861441583275]
本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。
本研究は,D-SGDAの一般化における各因子の影響を解析した。
また、最適凸凹設定を得るために一般化とバランスをとる。
論文 参考訳（メタデータ） (2023-10-31T11:27:01Z) - A Neural Network-Based Enrichment of Reproducing Kernel Approximation
for Modeling Brittle Fracture [0.0]
脆性破壊をモデル化するためのニューラルネットワーク強化再生カーネル粒子法(NN-RKPM)の改良版を提案する。
提案手法の有効性は,損傷伝播と分岐を含む一連の数値例によって実証された。
論文 参考訳（メタデータ） (2023-07-04T21:52:09Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex
Models and Heterogeneous Data [0.261072980439312]
非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。
理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
論文 参考訳（メタデータ） (2023-03-01T02:13:22Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳（メタデータ） (2022-09-19T18:48:00Z) - Optimal Rates for Averaged Stochastic Gradient Descent under Neural
Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。
本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文 参考訳（メタデータ） (2020-06-22T14:31:37Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳（メタデータ） (2020-06-11T18:49:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。