論文の概要: Decentralized Stochastic Subgradient-type Methods with Communication Compression for Nonsmooth Nonconvex Optimization
- arxiv url: http://arxiv.org/abs/2607.01755v1
- Date: Thu, 02 Jul 2026 06:11:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.694433
- Title: Decentralized Stochastic Subgradient-type Methods with Communication Compression for Nonsmooth Nonconvex Optimization
- Title（参考訳）: 非滑らかな非凸最適化のための通信圧縮を用いた分散確率次数型手法
- Abstract要約: 本稿では,非平滑な非分散最適化問題として,エージェント間通信を圧縮する手法を提案する。
本稿では,非バイアス圧縮と制約圧縮と誤り補償を併用した分散化サブ段階型手法を統一する汎用フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 14.561370824112524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we consider the nonsmooth nonconvex decentralized optimization problem, where inter-agent communication is compressed. We propose a general framework that unifies various decentralized stochastic subgradient-type methods with unbiased compression and contractive compression with error compensation. By relating the consensus-error iterates and the averaged iterates to the trajectories of continuous-time differential inclusions, we establish global convergence for all methods encompassed by our framework when the objective functions are nonsmooth and lack Clarke regularity. Based on our framework, we further develop several compression-based methods, including decentralized stochastic subgradient methods utilizing sign-based regularization and gradient-tracking momentum. Preliminary numerical experiments empirically support our theoretical results and highlight the communication-accuracy trade-off of the newly developed methods.
- Abstract（参考訳）: 本稿では,非平滑な非凸分散最適化問題として,エージェント間通信を圧縮する手法を提案する。
本稿では,非バイアス圧縮と制約圧縮と誤り補償を併用した分散確率勾配型手法を統一する汎用フレームワークを提案する。
コンセンサス・エラー反復と平均反復を連続時間差分包含の軌跡に関連付けることにより、目的関数が非滑らかでクラーク正則性が欠如している場合に、我々のフレームワークが包含するすべてのメソッドに対するグローバル収束を確立する。
本フレームワークでは,符号ベース正規化と勾配追従運動量を利用した分散確率下次法を含む,圧縮に基づくいくつかの手法をさらに発展させる。
予備的な数値実験は、我々の理論結果を実証的に支援し、新たに開発された手法の通信精度トレードオフを強調する。
関連論文リスト
- Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳（メタデータ） (2026-02-24T05:32:03Z) - Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization [20.588374906635256]
我々は2つの異なるシナリオ下で非圧縮不均一性最適化を解くために2つの圧縮分散アルゴリズムを設計する。
どちらのアルゴリズムも、高速収束を実現するモーメント技術と、通信コストを削減するメッセージスピード技術を採用している。
ディープニューラルネットワーク(DNN)とトランスフォーマーの最先端手法では、超越的な経験的性能が観察される。
論文 参考訳（メタデータ） (2025-08-07T00:33:00Z) - A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。
平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
論文 参考訳（メタデータ） (2024-05-17T21:17:27Z) - Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex functions [10.278310909980576]
本稿では,分散化サブ段階の手法を統一する汎用フレームワークを提案する。
我々は、よく認識された分散的な下位段階の手法に対する収束保証を証明した。
論文 参考訳（メタデータ） (2024-03-18T08:35:17Z) - On the Communication Complexity of Decentralized Bilevel Optimization [40.45379954138305]
本稿では,更新戦略の同時および交互化に基づく2つの新しい分散二段階勾配勾配アルゴリズムを提案する。
我々のアルゴリズムは既存の手法よりも高速な収束率と通信コストを抑えることができる。
このような理論的な結果は、不均一な環境での軽微な仮定で達成されたのはこれが初めてである。
論文 参考訳（メタデータ） (2023-11-19T14:56:26Z) - On Arbitrary Compression for Decentralized Consensus and Stochastic
Optimization over Directed Networks [0.6526824510982799]
所望の圧縮比に応じてメッセージを圧縮する反復型アルゴリズムを提案する。
既存の文献とは対照的に、任意の圧縮比が可能である。
滑らかな関数に対する分散最適化問題に対して明確な収束率を示す。
論文 参考訳（メタデータ） (2022-04-18T04:41:56Z) - Distributed and Stochastic Optimization Methods with Gradient
Compression and Local Steps [0.0]
本稿では,誤差補償と局所的な更新を伴う解析および分散手法に関する理論的枠組みを提案する。
線形収束型Error-pensated法と分散型Local-SGD法を含む20以上の新しい最適化手法を開発した。
論文 参考訳（メタデータ） (2021-12-20T16:12:54Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-11-03T13:35:53Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳（メタデータ） (2020-07-01T04:35:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。