論文の概要: Communication Compression for Distributed Learning without Control Variates

• arxiv url: http://arxiv.org/abs/2412.04538v1
• Date: Thu, 05 Dec 2024 18:46:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:55:01.317092
• Title: Communication Compression for Distributed Learning without Control Variates
• Title（参考訳）: 制御変数のない分散学習のためのコミュニケーション圧縮
• Authors: Tomas Ortega, Chun-Yin Huang, Xiaoxiao Li, Hamid Jafarkhani,
• Abstract要約: Compressed Aggregate Feedback (CAFe)は、高度に圧縮可能なクライアント更新を可能にする、分散学習フレームワークである。 CAFeは直接圧縮で分散学習を一貫して上回り、CAFeによるクライアント更新の圧縮性を強調している。
• 参考スコア（独自算出の注目度）: 38.18168130109547
• License:
• Abstract: Distributed learning algorithms, such as the ones employed in Federated Learning (FL), require communication compression to reduce the cost of client uploads. The compression methods used in practice are often biased, which require error feedback to achieve convergence when the compression is aggressive. In turn, error feedback requires client-specific control variates, which directly contradicts privacy-preserving principles and requires stateful clients. In this paper, we propose Compressed Aggregate Feedback (CAFe), a novel distributed learning framework that allows highly compressible client updates by exploiting past aggregated updates, and does not require control variates. We consider Distributed Gradient Descent (DGD) as a representative algorithm and provide a theoretical proof of CAFe's superiority to Distributed Compressed Gradient Descent (DCGD) with biased compression in the non-smooth regime with bounded gradient dissimilarity. Experimental results confirm that CAFe consistently outperforms distributed learning with direct compression and highlight the compressibility of the client updates with CAFe.
• Abstract（参考訳）: フェデレートラーニング(FL)で使用されるような分散学習アルゴリズムは、クライアントアップロードのコストを削減するために通信圧縮を必要とする。 実際に使用される圧縮方法は、しばしばバイアスを受け、圧縮が攻撃的である場合に収束を達成するためにエラーフィードバックを必要とする。 逆にエラーフィードバックには、クライアント固有の制御変数が必要であり、これは、プライバシ保護の原則と直接矛盾し、ステートフルなクライアントを必要とする。 本稿では,従来の集約更新を利用して高度に圧縮可能なクライアント更新を可能にする分散学習フレームワークであるCompressed Aggregate Feedback (CAFe)を提案する。 本研究では, 分散圧縮グラディエントDescent (DGD) を代表的アルゴリズムとみなし, 有界勾配差の非滑らかな系において, バイアス圧縮を伴う分散圧縮グラディエントDescent (DCGD) に対するCAFeの優位性の理論的証明を提供する。 実験結果から,CAFeは直接圧縮で分散学習を一貫して上回り,CAFeによるクライアント更新の圧縮性を強調した。

関連論文リスト

• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Data-Aware Gradient Compression for FL in Communication-Constrained Mobile Computing [20.70238092277094]
  モバイル環境におけるフェデレートラーニング(FL)は、重要なコミュニケーションボトルネックに直面している。 ワンサイズ・フィット・オール圧縮アプローチは、ワーカ間でのさまざまなデータボリュームを考慮に入れない。 本研究では,データ分布とボリュームが異なる作業者に対して,様々な圧縮比を提案する。
  論文  参考訳（メタデータ） (2023-11-13T13:24:09Z)
• Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
  フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。 本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
  論文  参考訳（メタデータ） (2023-04-13T10:52:49Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• Communication-Efficient Federated Learning via Robust Distributed Mean Estimation [16.41391088542669]
  フェデレーション学習は分散(ミニバッチ)SGDのようなアルゴリズムに依存しており、複数のクライアントがその勾配を計算し、モデルを平均化し更新するための中央コーディネータに送信する。 DRIVEは、座標毎の1ビットで勾配を圧縮する(低次のオーバーヘッドがいくつかある)技術アルゴリズムの最近の状態である。 本技術報告ではDRIVEを一般化し、帯域幅制限をサポートし、またそれを拡張して異種クライアントリソースをサポートし、パケットロスに対して堅牢にする。
  論文  参考訳（メタデータ） (2021-08-19T17:59:21Z)
• Accordion: Adaptive Gradient Communication via Critical Learning Regime Identification [12.517161466778655]
  分散モデルトレーニングは、計算ノードにまたがる頻繁なモデル更新による通信ボトルネックに悩まされる。 これらのボトルネックを軽減するために、実践者はスパーシフィケーションや量子化、低ランク更新といった勾配圧縮技術を使用する。 本研究では,高圧縮比の選択による性能劣化が基本的でないことを示す。 適応圧縮戦略は、最終テスト精度を維持しながら通信を低減することができる。
  論文  参考訳（メタデータ） (2020-10-29T16:41:44Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• Domain Adaptation Regularization for Spectral Pruning [44.060724281001775]
  ドメイン適応(DA)は、ラベル付きソースディストリビューションで学んだ知識を、おそらくラベルなしのターゲットディストリビューションに転送することで、この問題に対処する。 提案手法は,DA設定における既存の圧縮手法よりも高い圧縮率を示す。 本研究は1つの特定の圧縮法に基づくものであるが、DA設定における圧縮を改善するための一般的なガイドラインについても概説する。
  論文  参考訳（メタデータ） (2019-12-26T12:38:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。