論文の概要: SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead
- arxiv url: http://arxiv.org/abs/2406.00431v1
- Date: Sat, 1 Jun 2024 13:10:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 07:05:16.067584
- Title: SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead
- Title(参考訳): SpaFL:スパースモデルと低計算オーバーヘッドによるコミュニケーション効率のよいフェデレーションラーニング
- Authors: Minsu Kim, Walid Saad, Merouane Debbah, Choong Seon Hong,
- Abstract要約: SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
- 参考スコア(独自算出の注目度): 75.87007729801304
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The large communication and computation overhead of federated learning (FL) is one of the main challenges facing its practical deployment over resource-constrained clients and systems. In this work, SpaFL: a communication-efficient FL framework is proposed to optimize sparse model structures with low computational overhead. In SpaFL, a trainable threshold is defined for each filter/neuron to prune its all connected parameters, thereby leading to structured sparsity. To optimize the pruning process itself, only thresholds are communicated between a server and clients instead of parameters, thereby learning how to prune. Further, global thresholds are used to update model parameters by extracting aggregated parameter importance. The generalization bound of SpaFL is also derived, thereby proving key insights on the relation between sparsity and performance. Experimental results show that SpaFL improves accuracy while requiring much less communication and computing resources compared to sparse baselines.
- Abstract(参考訳): FL(Federated Learning)の大規模な通信と計算のオーバーヘッドは、リソース制約のあるクライアントやシステムに対する実践的なデプロイに直面する大きな課題の1つです。
本研究では,計算オーバーヘッドの少ないスパースモデル構造を最適化するために,通信効率のよいFLフレームワークであるSpaFLを提案する。
SpaFLでは、各フィルタ/ニューロンに対してトレーニング可能なしきい値が定義され、すべての接続されたパラメータをプーンし、その結果、構造化されたスパーシリティをもたらす。
プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。
さらに、グローバルしきい値を用いて、集約されたパラメータの重要度を抽出することで、モデルパラメータを更新する。
SpaFLの一般化境界も導出され、空間性と性能の関係に関する重要な知見が証明される。
実験結果から,スパースベースラインに比べて通信資源や計算資源の削減を図り,精度の向上を図っている。
関連論文リスト
- R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。
SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。
これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。
無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文 参考訳(メタデータ) (2024-07-16T12:21:29Z) - Smart Sampling: Helping from Friendly Neighbors for Decentralized Federated Learning [10.917048408073846]
分散FL(DFL)における近傍のサンプリングと集約のための簡易かつ効率的なアルゴリズムであるAFIND+を導入する。
AFIND+は有用な隣人を識別し、選択された隣人の数を適応的に調整し、サンプルされた隣人のモデルを戦略的に集約する。
実世界のデータセットの数値的な結果は、AFIND+がDFLの他のサンプリングアルゴリズムより優れていることを示している。
論文 参考訳(メタデータ) (2024-07-05T12:10:54Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳(メタデータ) (2024-02-28T03:27:10Z) - Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。
FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。
サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文 参考訳(メタデータ) (2023-12-11T13:03:21Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T16:37:59Z) - FLrce: Resource-Efficient Federated Learning with Early-Stopping
Strategy [8.69930753548684]
フェデレートラーニング(FL)がIoT(Internet of Things)で大人気
FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。
その結果,FLrceは既存のFLフレームワークと比較して,計算効率と通信効率を少なくとも47%,通信効率を43%向上させることがわかった。
論文 参考訳(メタデータ) (2023-10-15T10:13:44Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳(メタデータ) (2023-05-15T22:04:49Z) - Over-The-Air Clustered Wireless Federated Learning [2.2530496464901106]
クライアントがパラメータ更新を同時にサーバに送信できるので、Over-the-air (OTA) FLが好ましい。
強力なサーバがなければ、クライアントが隣人と通信してコンセンサスMLモデルを取得する分散戦略が採用される。
本稿では,OTA半分散クラスタリング無線FL(CWFL)とCWFL-Proxアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-11-07T08:34:35Z) - Communication-Efficient Federated Learning with Binary Neural Networks [15.614120327271557]
フェデレート・ラーニング(Federated Learning, FL)は、プライバシ保護のための機械学習環境である。
FLは、トレーニングをコーディネートするすべてのクライアントとサーバ間のパラメータの頻繁な交換を伴う。
本稿では,通常の実数値ニューラルネットワークの代わりに,FL設定におけるバイナリニューラルネットワーク(BNN)のトレーニングを検討する。
論文 参考訳(メタデータ) (2021-10-05T15:59:49Z) - Joint Optimization of Communications and Federated Learning Over the Air [32.14738452396869]
Federated Learning(FL)は、データプライバシーを保護しながら、リッチな分散データを利用するための魅力的なパラダイムです。
本稿では,リアル無線ネットワークにおけるアナログアグリゲーション伝送に基づく通信とFLの協調最適化について検討する。
論文 参考訳(メタデータ) (2021-04-08T03:38:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。