論文の概要: A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free!

• arxiv url: http://arxiv.org/abs/2011.01697v1
• Date: Tue, 3 Nov 2020 13:35:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 06:03:38.203533
• Title: A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free!
• Title（参考訳）: 分散最適化のための線形収束アルゴリズム: 少ないビットを無料で送る!
• Authors: Dmitry Kovalev and Anastasia Koloskova and Martin Jaggi and Peter Richtarik and Sebastian U. Stich
• Abstract要約: 分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
• 参考スコア（独自算出の注目度）: 72.31332210635524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized optimization methods enable on-device training of machine learning models without a central coordinator. In many scenarios communication between devices is energy demanding and time consuming and forms the bottleneck of the entire system. We propose a new randomized first-order method which tackles the communication bottleneck by applying randomized compression operators to the communicated messages. By combining our scheme with a new variance reduction technique that progressively throughout the iterations reduces the adverse effect of the injected quantization noise, we obtain the first scheme that converges linearly on strongly convex decentralized problems while using compressed communication only. We prove that our method can solve the problems without any increase in the number of communications compared to the baseline which does not perform any communication compression while still allowing for a significant compression factor which depends on the conditioning of the problem and the topology of the network. Our key theoretical findings are supported by numerical experiments.
• Abstract（参考訳）: 分散最適化手法は、中央コーディネータなしで機械学習モデルのオンデバイストレーニングを可能にする。 多くのシナリオにおいて、デバイス間の通信はエネルギー要求と時間消費であり、システム全体のボトルネックを形成します。 通信メッセージにランダム化圧縮演算子を適用することにより,通信ボトルネックに対処する新しいランダム化一階法を提案する。 提案手法と, 繰り返しを通じて段階的に量子化雑音の悪影響を低減する新しい分散低減手法を組み合わせることにより, 圧縮通信のみを使用しながら, 強い凸分散問題に線形収束する第1のスキームを得る。 本手法は,ネットワークの条件やトポロジに依存する重要な圧縮係数を許容しながら,通信圧縮を行わないベースラインと比較して,通信数の増加を伴わずに解決できることを実証する。 我々の重要な理論的知見は数値実験によって裏付けられている。

関連論文リスト

• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• On Arbitrary Compression for Decentralized Consensus and Stochastic Optimization over Directed Networks [0.6526824510982799]
  所望の圧縮比に応じてメッセージを圧縮する反復型アルゴリズムを提案する。 既存の文献とは対照的に、任意の圧縮比が可能である。 滑らかな関数に対する分散最適化問題に対して明確な収束率を示す。
  論文  参考訳（メタデータ） (2022-04-18T04:41:56Z)
• Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
  本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。 新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
  論文  参考訳（メタデータ） (2021-10-07T10:04:32Z)
• Decentralized Composite Optimization with Compression [36.75785129001134]
  非滑らかなコンポーネントを用いた分散合成最適化問題について検討する。 圧縮を伴う収束アンダーライン分散アルゴリズム Prox-LEAD を提案する。 我々の定理は、Prox-LEADが任意の圧縮精度で動作することを示している。
  論文  参考訳（メタデータ） (2021-08-10T04:54:52Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• Communication-efficient Variance-reduced Stochastic Gradient Descent [0.0]
  通信効率のよい分散最適化の問題を考える。 特に、分散還元勾配に着目し、通信効率を高めるための新しいアプローチを提案する。 実データセットの包括的理論的および数値解析により、我々のアルゴリズムは通信の複雑さを95%減らし、ほとんど顕著なペナルティを伴わないことが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-10T13:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。