論文の概要: Time-Correlated Sparsification for Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2101.08837v1
• Date: Thu, 21 Jan 2021 20:15:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 07:44:25.730188
• Title: Time-Correlated Sparsification for Communication-Efficient Federated Learning
• Title（参考訳）: コミュニケーション効率のよい連合学習のための時間相関スパルサフィケーション
• Authors: Emre Ozfatura and Kerem Ozfatura and Deniz Gunduz
• Abstract要約: フェデレーションラーニング(FL)により、複数のクライアントがローカルデータセットを開示することなく、共有モデルを共同でトレーニングできます。 FLにおける連続的な反復で使用されるスパース表現の間に一定の相関関係を求める新しい時間関連スペーシフィケーション手法を提案する。 本研究では,TCSが100倍のスパーシフィケーションと最大2000倍の通信負荷低減で集中型トレーニング精度を達成できることを示した。
• 参考スコア（独自算出の注目度）: 6.746400031322727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables multiple clients to collaboratively train a shared model without disclosing their local datasets. This is achieved by exchanging local model updates with the help of a parameter server (PS). However, due to the increasing size of the trained models, the communication load due to the iterative exchanges between the clients and the PS often becomes a bottleneck in the performance. Sparse communication is often employed to reduce the communication load, where only a small subset of the model updates are communicated from the clients to the PS. In this paper, we introduce a novel time-correlated sparsification (TCS) scheme, which builds upon the notion that sparse communication framework can be considered as identifying the most significant elements of the underlying model. Hence, TCS seeks a certain correlation between the sparse representations used at consecutive iterations in FL, so that the overhead due to encoding and transmission of the sparse representation can be significantly reduced without compromising the test accuracy. Through extensive simulations on the CIFAR-10 dataset, we show that TCS can achieve centralized training accuracy with 100 times sparsification, and up to 2000 times reduction in the communication load when employed together with quantization.
• Abstract（参考訳）: フェデレーション学習(fl)は、複数のクライアントがローカルデータセットを開示することなく、共有モデルを協調的にトレーニングすることを可能にする。 これはパラメータサーバ(PS)の助けを借りてローカルモデルの更新を交換することで実現される。 しかし、トレーニングされたモデルのサイズが大きくなるため、クライアントとps間の反復的な交換による通信負荷がパフォーマンスのボトルネックとなることが多い。 スパース通信は、モデル更新のごく一部のみがクライアントからpsに通信されるため、通信負荷を低減するためにしばしば使用される。 本稿では、スパース通信フレームワークを基礎となるモデルの最も重要な要素を識別できると考えることができるという概念に基づいて、新しい時間相関スパース化(tcs)スキームを提案する。 従って、tcsは、flの連続イテレーションで使用されるスパース表現と、スパース表現の符号化と伝送によるオーバーヘッドがテスト精度を損なうことなく大幅に低減されるように、一定の相関関係を求める。 cifar-10データセットの広範なシミュレーションを通じて、tcsは100倍のスパーシフィケーションと最大2000倍の量子化による通信負荷削減で集中的なトレーニング精度を達成できることを示した。

関連論文リスト

• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation [10.541541376305245]
  Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。 FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。 本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
  論文  参考訳（メタデータ） (2024-01-25T14:49:15Z)
• Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
  本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T13:10:40Z)
• On the Convergence Time of Federated Learning Over Wireless Networks Under Imperfect CSI [28.782485580296374]
  チャネル統計をバイアスとして,不完全なcsi下での収束時間を最小化するトレーニングプロセスを提案する。 また,学習過程に関わるクライアント数とモデル精度とのトレードオフを,異なる失明状態の関数として検討した。
  論文  参考訳（メタデータ） (2021-04-01T08:30:45Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Distributed Sparse SGD with Majority Voting [5.32836690371986]
  分散学習のための分散コミュニケーション戦略として,多数決に基づく疎間コミュニケーション戦略を導入する。 テスト精度を損なうことなく,最大x4000圧縮を達成可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-12T17:06:36Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。