論文の概要: Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation
- arxiv url: http://arxiv.org/abs/2401.14211v1
- Date: Thu, 25 Jan 2024 14:49:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 14:19:30.592833
- Title: Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation
- Title（参考訳）: 適応重みクラスタリングとサーバ側蒸留によるコミュニケーション効率の良いフェデレーション学習
- Authors: Vasileios Tsouvalas. Aaqib Saeed, Tanir Ozcelebi and Nirvana Meratnia
- Abstract要約: Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。
FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。
本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
- 参考スコア（独自算出の注目度）: 2.1485350418225244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a promising technique for the collaborative
training of deep neural networks across multiple devices while preserving data
privacy. Despite its potential benefits, FL is hindered by excessive
communication costs due to repeated server-client communication during
training. To address this challenge, model compression techniques, such as
sparsification and weight clustering are applied, which often require modifying
the underlying model aggregation schemes or involve cumbersome hyperparameter
tuning, with the latter not only adjusts the model's compression rate but also
limits model's potential for continuous improvement over growing data. In this
paper, we propose FedCompress, a novel approach that combines dynamic weight
clustering and server-side knowledge distillation to reduce communication costs
while learning highly generalizable models. Through a comprehensive evaluation
on diverse public datasets, we demonstrate the efficacy of our approach
compared to baselines in terms of communication costs and inference speed. We
will make our implementation public upon acceptance.
- Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを保持しながら、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングを行うための有望なテクニックである。
潜在的な利点にもかかわらず、flはトレーニング中のサーバ-クライアント間通信の繰り返しによる過剰な通信コストによって妨げられている。
この課題に対処するために、スパーシフィケーションや重みクラスタリングのようなモデル圧縮技術が適用され、モデル集約スキームの変更や、モデル圧縮率の調整だけでなく、成長データに対するモデルの継続的な改善の可能性を制限するため、面倒なハイパーパラメータチューニングを必要とすることが多い。
本稿では,動的重みクラスタリングとサーバ側の知識蒸留を組み合わせた新しい手法であるFedCompressを提案する。
各種公開データセットの包括的評価を通じて,コミュニケーションコストや推論速度の観点から,ベースラインと比較して,アプローチの有効性を示す。
私たちは受け入れ次第、実装を公開します。
関連論文リスト
- Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - HiFlash: Communication-Efficient Hierarchical Federated Learning with
Adaptive Staleness Control and Heterogeneity-aware Client-Edge Association [38.99309610943313]
フェデレートラーニング(FL)は、巨大なクライアント間で共有モデルを協調的に学習することのできる、有望なパラダイムである。
多くの既存のFLシステムでは、クライアントは大規模なデータサイズのモデルパラメータを、ワイドエリアネットワーク(WAN)を介してリモートクラウドサーバと頻繁に交換する必要がある。
我々は、モバイルエッジコンピューティングの利点を享受するHiFLの階層的フェデレーション学習パラダイムを活用している。
論文 参考訳（メタデータ） (2023-01-16T14:39:04Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳（メタデータ） (2021-10-22T13:25:57Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - Communication-Efficient Federated Learning with Dual-Side Low-Rank
Compression [8.353152693578151]
Federated Learning(FL)は、クライアントの生データを共有せずにディープラーニングモデルをトレーニングするための有望で強力なアプローチです。
両サイドローランク圧縮(FedDLR)を用いたフェデレーションラーニングと呼ばれる新しいトレーニング手法を提案する。
我々は,FedDLRがコミュニケーションと効率の両面で最先端のソリューションより優れていることを示す。
論文 参考訳（メタデータ） (2021-04-26T09:13:31Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z) - Communication-Efficient Federated Learning with Compensated
Overlap-FedAvg [22.636184975591004]
フェデレーションラーニングは、クラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行するために提案される。
Overlap-FedAvgはモデルアップロードおよびダウンロードフェーズとモデルトレーニングフェーズを並列化するフレームワークである。
オーバーラップfedavgはさらに階層的計算戦略、データ補償機構、ネステロフ加速勾配(nag)アルゴリズムを用いて開発されている。
論文 参考訳（メタデータ） (2020-12-12T02:50:09Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。