論文の概要: Decentralized Composite Optimization with Compression
- arxiv url: http://arxiv.org/abs/2108.04448v2
- Date: Thu, 12 Aug 2021 16:50:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-13 11:24:49.278895
- Title: Decentralized Composite Optimization with Compression
- Title（参考訳）: 圧縮による分散複合最適化
- Authors: Yao Li, Xiaorui Liu, Jiliang Tang, Ming Yan, Kun Yuan
- Abstract要約: 非滑らかなコンポーネントを用いた分散合成最適化問題について検討する。
圧縮を伴う収束アンダーライン分散アルゴリズム Prox-LEAD を提案する。
我々の定理は、Prox-LEADが任意の圧縮精度で動作することを示している。
- 参考スコア（独自算出の注目度）: 36.75785129001134
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized optimization and communication compression have exhibited their
great potential in accelerating distributed machine learning by mitigating the
communication bottleneck in practice. While existing decentralized algorithms
with communication compression mostly focus on the problems with only smooth
components, we study the decentralized stochastic composite optimization
problem with a potentially non-smooth component. A \underline{Prox}imal
gradient \underline{L}in\underline{EA}r convergent \underline{D}ecentralized
algorithm with compression, Prox-LEAD, is proposed with rigorous theoretical
analyses in the general stochastic setting and the finite-sum setting. Our
theorems indicate that Prox-LEAD works with arbitrary compression precision,
and it tremendously reduces the communication cost almost for free. The
superiorities of the proposed algorithms are demonstrated through the
comparison with state-of-the-art algorithms in terms of convergence
complexities and numerical experiments. Our algorithmic framework also
generally enlightens the compressed communication on other primal-dual
algorithms by reducing the impact of inexact iterations, which might be of
independent interest.
- Abstract（参考訳）: 分散最適化と通信圧縮は、実際に通信ボトルネックを緩和することにより、分散機械学習を加速する大きな可能性を示した。
通信圧縮を伴う既存の分散化アルゴリズムは、スムーズなコンポーネントのみの問題に主に焦点をあてるが、非滑らかなコンポーネントを含む分散化確率的複合最適化問題について検討する。
一般確率的設定と有限サム設定における厳密な理論解析を用いて, 圧縮型集中型アルゴリズム prox-lead を提案する。
我々の定理は、prox-leadは任意の圧縮精度で動作し、通信コストをほぼ無償で大幅に削減することを示している。
提案手法は,コンバージェンス複雑度と数値実験の観点から,最先端アルゴリズムとの比較により優れていることを示す。
我々のアルゴリズムフレームワークは、通常、他の原始的アルゴリズムに対する圧縮通信を啓蒙し、不正確な反復の影響を減少させます。
関連論文リスト
- Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。
その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。
その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
論文 参考訳（メタデータ） (2024-06-26T15:11:26Z) - Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。
置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。
本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
論文 参考訳（メタデータ） (2024-02-09T13:58:33Z) - Lower Bounds and Accelerated Algorithms in Distributed Stochastic
Optimization with Communication Compression [31.107056382542417]
通信圧縮は通信オーバーヘッドを軽減するための重要な戦略である。
軽度条件下での圧縮のほぼ最適アルゴリズムであるNEOLITHICを提案する。
論文 参考訳（メタデータ） (2023-05-12T17:02:43Z) - Can Decentralized Stochastic Minimax Optimization Algorithms Converge
Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。
本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-24T02:19:39Z) - Lower Bounds and Nearly Optimal Algorithms in Distributed Learning with
Communication Compression [33.217552987061474]
通信圧縮は、通信を減らす最も効果的な方法の1つである。
分散最適化と学習の最近の進歩は、通信圧縮が通信を減らす最も効果的な方法の1つであることを示している。
論文 参考訳（メタデータ） (2022-06-08T03:36:34Z) - On Arbitrary Compression for Decentralized Consensus and Stochastic
Optimization over Directed Networks [0.6526824510982799]
所望の圧縮比に応じてメッセージを圧縮する反復型アルゴリズムを提案する。
既存の文献とは対照的に、任意の圧縮比が可能である。
滑らかな関数に対する分散最適化問題に対して明確な収束率を示す。
論文 参考訳（メタデータ） (2022-04-18T04:41:56Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-11-03T13:35:53Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳（メタデータ） (2020-08-04T09:14:52Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳（メタデータ） (2020-07-01T04:35:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。