論文の概要: Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
- arxiv url: http://arxiv.org/abs/2508.04950v1
- Date: Thu, 07 Aug 2025 00:33:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-08 18:59:39.671322
- Title: Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
- Title（参考訳）: 非凸最適化のための圧縮分散モーメント確率勾配法
- Authors: Wei Liu, Anweshit Panda, Ujwal Pandey, Christopher Brissette, Yikang Shen, George M. Slota, Naigang Wang, Jie Chen, Yangyang Xu,
- Abstract要約: 我々は2つの異なるシナリオ下で非圧縮不均一性最適化を解くために2つの圧縮分散アルゴリズムを設計する。
どちらのアルゴリズムも、高速収束を実現するモーメント技術と、通信コストを削減するメッセージスピード技術を採用している。
ディープニューラルネットワーク(DNN)とトランスフォーマーの最先端手法では、超越的な経験的性能が観察される。
- 参考スコア（独自算出の注目度）: 20.588374906635256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we design two compressed decentralized algorithms for solving nonconvex stochastic optimization under two different scenarios. Both algorithms adopt a momentum technique to achieve fast convergence and a message-compression technique to save communication costs. Though momentum acceleration and compressed communication have been used in literature, it is highly nontrivial to theoretically prove the effectiveness of their composition in a decentralized algorithm that can maintain the benefits of both sides, because of the need to simultaneously control the consensus error, the compression error, and the bias from the momentum gradient. For the scenario where gradients are bounded, our proposal is a compressed decentralized adaptive method. To the best of our knowledge, this is the first decentralized adaptive stochastic gradient method with compressed communication. For the scenario of data heterogeneity without bounded gradients, our proposal is a compressed decentralized heavy-ball method, which applies a gradient tracking technique to address the challenge of data heterogeneity. Notably, both methods achieve an optimal convergence rate, and they can achieve linear speed up and adopt topology-independent algorithmic parameters within a certain regime of the user-specified error tolerance. Superior empirical performance is observed over state-of-the-art methods on training deep neural networks (DNNs) and Transformers.
- Abstract（参考訳）: 本稿では,非凸確率最適化のための圧縮分散アルゴリズムを2つの異なるシナリオで設計する。
両アルゴリズムとも、高速収束を実現するモーメント技術と、通信コストを削減するメッセージ圧縮技術を採用している。
運動量加速と圧縮通信は文献で使われているが、運動量勾配からのコンセンサス誤差、圧縮誤差、バイアスを同時に制御する必要があるため、両面の利点を維持できる分散化アルゴリズムにおいて、それらの構成の有効性を理論的に証明することは、非常に困難である。
勾配が有界なシナリオでは,提案手法は圧縮分散適応法である。
我々の知る限り、これは圧縮通信を用いた最初の分散適応確率勾配法である。
境界勾配のないデータ不均一性のシナリオに対しては,データ不均一性の課題に対処するために勾配追跡手法を適用した圧縮分散重ボール法を提案する。
どちらの手法も最適収束率を達成し、線形速度アップを実現し、トポロジ非依存のアルゴリズムパラメータをユーザ指定のエラー許容範囲内で適用することができる。
ディープニューラルネットワーク(DNN)とトランスフォーマーをトレーニングする最先端の手法では、超越的な経験的パフォーマンスが観察される。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。
平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
論文 参考訳（メタデータ） (2024-05-17T21:17:27Z) - On the Communication Complexity of Decentralized Bilevel Optimization [40.45379954138305]
本稿では,更新戦略の同時および交互化に基づく2つの新しい分散二段階勾配勾配アルゴリズムを提案する。
我々のアルゴリズムは既存の手法よりも高速な収束率と通信コストを抑えることができる。
このような理論的な結果は、不均一な環境での軽微な仮定で達成されたのはこれが初めてである。
論文 参考訳（メタデータ） (2023-11-19T14:56:26Z) - On Arbitrary Compression for Decentralized Consensus and Stochastic
Optimization over Directed Networks [0.6526824510982799]
所望の圧縮比に応じてメッセージを圧縮する反復型アルゴリズムを提案する。
既存の文献とは対照的に、任意の圧縮比が可能である。
滑らかな関数に対する分散最適化問題に対して明確な収束率を示す。
論文 参考訳（メタデータ） (2022-04-18T04:41:56Z) - On Accelerating Distributed Convex Optimizations [0.0]
本稿では,分散マルチエージェント凸最適化問題について検討する。
提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。
実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
論文 参考訳（メタデータ） (2021-08-19T13:19:54Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-11-03T13:35:53Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳（メタデータ） (2020-07-01T04:35:00Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳（メタデータ） (2020-06-11T18:49:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。