論文の概要: Communication-Efficient Federated Learning via Robust Distributed Mean Estimation

• arxiv url: http://arxiv.org/abs/2108.08842v1
• Date: Thu, 19 Aug 2021 17:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-20 14:38:57.024027
• Title: Communication-Efficient Federated Learning via Robust Distributed Mean Estimation
• Title（参考訳）: ロバスト分散平均推定によるコミュニケーション効率の良いフェデレーション学習
• Authors: Shay Vargaftik, Ran Ben Basat, Amit Portnoy, Gal Mendelson, Yaniv Ben-Itzhak, Michael Mitzenmacher
• Abstract要約: フェデレーション学習は分散(ミニバッチ)SGDのようなアルゴリズムに依存しており、複数のクライアントがその勾配を計算し、モデルを平均化し更新するための中央コーディネータに送信する。 DRIVEは、座標毎の1ビットで勾配を圧縮する(低次のオーバーヘッドがいくつかある)技術アルゴリズムの最近の状態である。 本技術報告ではDRIVEを一般化し、帯域幅制限をサポートし、またそれを拡張して異種クライアントリソースをサポートし、パケットロスに対して堅牢にする。
• 参考スコア（独自算出の注目度）: 16.41391088542669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning commonly relies on algorithms such as distributed (mini-batch) SGD, where multiple clients compute their gradients and send them to a central coordinator for averaging and updating the model. To optimize the transmission time and the scalability of the training process, clients often use lossy compression to reduce the message sizes. DRIVE is a recent state of the art algorithm that compresses gradients using one bit per coordinate (with some lower-order overhead). In this technical report, we generalize DRIVE to support any bandwidth constraint as well as extend it to support heterogeneous client resources and make it robust to packet loss.
• Abstract（参考訳）: フェデレーション学習は通常、分散(ミニバッチ)SGDのようなアルゴリズムに依存し、複数のクライアントが勾配を計算し、モデルを平均化し更新するための中央コーディネータに送信する。 トレーニングプロセスの送信時間とスケーラビリティを最適化するために、クライアントはしばしばメッセージサイズを減らすために損失のある圧縮を使用します。 DRIVEは、座標毎に1ビットの勾配を圧縮する(低次のオーバーヘッドがある)技術アルゴリズムの最近の状態である。 この技術報告では、ドライブを帯域幅制約をサポートし、異種クライアントリソースをサポートするように拡張し、パケット損失に対して堅牢にする。

関連論文リスト

• Accelerating Communication in Deep Learning Recommendation Model Training with Dual-Level Adaptive Lossy Compression [10.233937665979694]
  DLRMは最先端のレコメンデーションシステムモデルであり、様々な業界アプリケーションで広く採用されている。 このプロセスの重大なボトルネックは、すべてのデバイスから埋め込みデータを集めるのに必要な全通信に時間を要することだ。 本稿では,通信データサイズを削減し,DLRMトレーニングを高速化するために,エラーバウンドの損失圧縮を利用する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T05:55:18Z)
• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
  フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。 我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
  論文  参考訳（メタデータ） (2021-09-17T04:48:42Z)
• Efficient Distributed Auto-Differentiation [22.192220404846267]
  大規模ディープニューラルネットワーク(DNN)をトレーニングするための勾配ベースのアルゴリズムは通信量が多い。 グラデーションよりもコミュニケーションにやさしい分散型DNNをトレーニングするための驚くほど単純な統計を紹介します。 このプロセスは、バックプロパゲーション中のグラデーション平均の柔軟性を提供し、新しい柔軟なトレーニングスキーマを可能にします。
  論文  参考訳（メタデータ） (2021-02-18T21:46:27Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。