論文の概要: FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models

• arxiv url: http://arxiv.org/abs/2403.09904v1
• Date: Thu, 14 Mar 2024 22:29:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 20:56:05.894292
• Title: FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models
• Title（参考訳）: FedComLoc:スパースモデルと量子化モデルのコミュニケーション効率の良い分散トレーニング
• Authors: Kai Yi, Georg Meinhardt, Laurent Condat, Peter Richtárik,
• Abstract要約: フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
• 参考スコア（独自算出の注目度）: 56.21666819468249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) has garnered increasing attention due to its unique characteristic of allowing heterogeneous clients to process their private data locally and interact with a central server, while being respectful of privacy. A critical bottleneck in FL is the communication cost. A pivotal strategy to mitigate this burden is \emph{Local Training}, which involves running multiple local stochastic gradient descent iterations between communication phases. Our work is inspired by the innovative \emph{Scaffnew} algorithm, which has considerably advanced the reduction of communication complexity in FL. We introduce FedComLoc (Federated Compressed and Local Training), integrating practical and effective compression into \emph{Scaffnew} to further enhance communication efficiency. Extensive experiments, using the popular TopK compressor and quantization, demonstrate its prowess in substantially reducing communication overheads in heterogeneous settings.
• Abstract（参考訳）: フェデレートラーニング(FL)は、不均一なクライアントが、プライバシーを尊重しつつ、プライベートデータをローカルに処理し、中央サーバーとやり取りできるようにするというユニークな特徴から、注目を集めている。 FLにおける重要なボトルネックは通信コストです。 この負担を軽減するための重要な戦略は、通信フェーズ間で複数の局所確率勾配降下イテレーションを実行することを含む「emph{Local Training}」である。 我々の研究は、FLにおける通信複雑性の低減を大幅に進めた革新的な 'emph{Scaffnew} アルゴリズムにインスパイアされている。 我々は,FedComLoc(Federated Compressed and Local Training)を導入し,実践的かつ効果的な圧縮を \emph{Scaffnew} に統合し,通信効率をさらに向上させる。 一般的なTopK圧縮機と量子化を用いた広汎な実験は、不均一な環境での通信オーバーヘッドを大幅に削減する技術を示している。

関連論文リスト

• Communication-Efficient Federated Knowledge Graph Embedding with Entity-Wise Top-K Sparsification [49.66272783945571]
  Federated Knowledge Graphs Embedding Learning (FKGE)は、パラメータのかなりのサイズと広範なコミュニケーションラウンドから生じるコミュニケーション効率の課題に直面する。 本稿では,Entity-Wise Top-K Sparsification 戦略に基づく双方向通信効率のFedSを提案する。
  論文  参考訳（メタデータ） (2024-06-19T05:26:02Z)
• Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
  クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression [8.37672888329615]
  そこで我々はLoCoDL(LoCoDL)と,フロートの実次元ベクトルの代わりに短いビットストリームが送信される圧縮(Compression)という,ローカルトレーニングの一般的かつ効果的な2つの手法を利用する通信効率の高いアルゴリズムを紹介した。 LoCoDLは、局所的な訓練と圧縮の恩恵を受け、強い凸関数を持つ一般的な異種体制において、関数の条件数とモデル次元に関して、二重に加速された通信複雑性を享受する。
  論文  参考訳（メタデータ） (2024-03-07T09:22:50Z)
• Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation [10.541541376305245]
  Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。 FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。 本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
  論文  参考訳（メタデータ） (2024-01-25T14:49:15Z)
• SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression [40.646108010388986]
  本稿では,コミュニケーション圧縮によるプライベート・フェデレーション学習のコミュニケーション効率を向上させる統一フレームワークを提案する。 プライバシ、ユーティリティ、通信の複雑さの観点から、パフォーマンストレードオフを包括的に評価する。
  論文  参考訳（メタデータ） (2022-06-20T16:47:58Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression [8.353152693578151]
  Federated Learning(FL)は、クライアントの生データを共有せずにディープラーニングモデルをトレーニングするための有望で強力なアプローチです。 両サイドローランク圧縮(FedDLR)を用いたフェデレーションラーニングと呼ばれる新しいトレーニング手法を提案する。 我々は,FedDLRがコミュニケーションと効率の両面で最先端のソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-26T09:13:31Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。