論文の概要: Differential error feedback for communication-efficient decentralized learning

• arxiv url: http://arxiv.org/abs/2406.18418v1
• Date: Wed, 26 Jun 2024 15:11:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 13:00:05.284837
• Title: Differential error feedback for communication-efficient decentralized learning
• Title（参考訳）: コミュニケーション効率の良い分散学習のための差分誤差フィードバック
• Authors: Roula Nassif, Stefan Vlaski, Marco Carpentiero, Vincenzo Matta, Ali H. Sayed,
• Abstract要約: 本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
• 参考スコア（独自算出の注目度）: 48.924131251745266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Communication-constrained algorithms for decentralized learning and optimization rely on local updates coupled with the exchange of compressed signals. In this context, differential quantization is an effective technique to mitigate the negative impact of compression by leveraging correlations between successive iterates. In addition, the use of error feedback, which consists of incorporating the compression error into subsequent steps, is a powerful mechanism to compensate for the bias caused by the compression. Under error feedback, performance guarantees in the literature have so far focused on algorithms employing a fusion center or a special class of contractive compressors that cannot be implemented with a finite number of bits. In this work, we propose a new decentralized communication-efficient learning approach that blends differential quantization with error feedback. The approach is specifically tailored for decentralized learning problems where agents have individual risk functions to minimize subject to subspace constraints that require the minimizers across the network to lie in low-dimensional subspaces. This constrained formulation includes consensus or single-task optimization as special cases, and allows for more general task relatedness models such as multitask smoothness and coupled optimization. We show that, under some general conditions on the compression noise, and for sufficiently small step-sizes $\mu$, the resulting communication-efficient strategy is stable both in terms of mean-square error and average bit rate: by reducing $\mu$, it is possible to keep the estimation errors small (on the order of $\mu$) without increasing indefinitely the bit rate as $\mu\rightarrow 0$. The results establish that, in the small step-size regime and with a finite number of bits, it is possible to attain the performance achievable in the absence of compression.
• Abstract（参考訳）: 分散学習と最適化のための通信制約付きアルゴリズムは、圧縮信号の交換に伴う局所的な更新に依存している。 この文脈では、微分量子化は連続する繰り返しの相関を利用して圧縮の負の影響を緩和する有効な手法である。 さらに、圧縮エラーをその後のステップに組み込んだエラーフィードバックを用いることは、圧縮によるバイアスを補償する強力なメカニズムである。 誤りフィードバックの下では、文献における性能保証は、有限ビットで実装できないフュージョンセンタや特別な種類の収縮圧縮機を用いるアルゴリズムに焦点が当てられている。 本研究では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 この手法は、エージェントが低次元のサブスペースに配置するためにネットワーク上の最小限の制約を最小化するために、個別のリスク関数を持つ分散学習問題に特化している。 この制約付き定式化は、特別な場合としてコンセンサスやシングルタスク最適化を含み、マルチタスクの滑らかさや結合最適化のようなより一般的なタスク関連性モデルを可能にする。 圧縮雑音の一般的な条件下では、十分小さなステップサイズ$\mu$の場合、平均二乗誤差と平均ビットレートの両方で得られる通信効率の戦略が安定であることが示される:$\mu$を減らせば、ビットレートが$\mu\rightarrow 0$と不確定に増加することなく、推定誤差を小さく保つことができる($\mu$の順序で)。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。

関連論文リスト

• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression [31.107056382542417]
  通信圧縮は通信オーバーヘッドを軽減するための重要な戦略である。 軽度条件下での圧縮のほぼ最適アルゴリズムであるNEOLITHICを提案する。
  論文  参考訳（メタデータ） (2023-05-12T17:02:43Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)
• Decentralized Composite Optimization with Compression [36.75785129001134]
  非滑らかなコンポーネントを用いた分散合成最適化問題について検討する。 圧縮を伴う収束アンダーライン分散アルゴリズム Prox-LEAD を提案する。 我々の定理は、Prox-LEADが任意の圧縮精度で動作することを示している。
  論文  参考訳（メタデータ） (2021-08-10T04:54:52Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。