Fugu-MT 論文翻訳(概要): SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead

論文の概要: SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead

arxiv url: http://arxiv.org/abs/2406.00431v1
Date: Sat, 1 Jun 2024 13:10:35 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 07:05:16.067584
Title: SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead
Title（参考訳）: SpaFL:スパースモデルと低計算オーバーヘッドによるコミュニケーション効率のよいフェデレーションラーニング
Authors: Minsu Kim, Walid Saad, Merouane Debbah, Choong Seon Hong,
Abstract要約: SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
参考スコア（独自算出の注目度）: 75.87007729801304
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The large communication and computation overhead of federated learning (FL) is one of the main challenges facing its practical deployment over resource-constrained clients and systems. In this work, SpaFL: a communication-efficient FL framework is proposed to optimize sparse model structures with low computational overhead. In SpaFL, a trainable threshold is defined for each filter/neuron to prune its all connected parameters, thereby leading to structured sparsity. To optimize the pruning process itself, only thresholds are communicated between a server and clients instead of parameters, thereby learning how to prune. Further, global thresholds are used to update model parameters by extracting aggregated parameter importance. The generalization bound of SpaFL is also derived, thereby proving key insights on the relation between sparsity and performance. Experimental results show that SpaFL improves accuracy while requiring much less communication and computing resources compared to sparse baselines.
Abstract（参考訳）: FL(Federated Learning)の大規模な通信と計算のオーバーヘッドは、リソース制約のあるクライアントやシステムに対する実践的なデプロイに直面する大きな課題の1つです。本研究では,計算オーバーヘッドの少ないスパースモデル構造を最適化するために,通信効率のよいFLフレームワークであるSpaFLを提案する。 SpaFLでは、各フィルタ/ニューロンに対してトレーニング可能なしきい値が定義され、すべての接続されたパラメータをプーンし、その結果、構造化されたスパーシリティをもたらす。プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。さらに、グローバルしきい値を用いて、集約されたパラメータの重要度を抽出することで、モデルパラメータを更新する。 SpaFLの一般化境界も導出され、空間性と性能の関係に関する重要な知見が証明される。実験結果から,スパースベースラインに比べて通信資源や計算資源の削減を図り,精度の向上を図っている。

関連論文リスト

Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
論文参考訳（メタデータ） (2024-08-19T07:43:35Z)
R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文参考訳（メタデータ） (2024-07-16T12:21:29Z)
FedLog: Personalized Federated Classification with Less Communication and More Flexibility [24.030147353437382]
フェデレーション表現学習(FRL)は、ローカルデータから効果的な特徴抽出によるパーソナライズされたフェデレーションモデルを学習することを目的としている。オーバヘッドを低減するため、生モデルパラメータの代わりに十分なデータサマリーを共有することを提案する。
論文参考訳（メタデータ） (2024-07-11T09:40:29Z)
Achieving Dimension-Free Communication in Federated Learning via Zeroth-Order Optimization [15.73877955614998]
本稿では,クライアント間で一定数のスカラー値を送信することで,通信コストを$mathscrO(d)$から$mathscrO(1)$に削減する,新しい通信アルゴリズムDeComFLを提案する。古典的なディープラーニングトレーニングと大規模言語モデルの微調整の両方を含む経験的評価は、通信オーバーヘッドを大幅に削減することを示している。
論文参考訳（メタデータ） (2024-05-24T18:07:05Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文参考訳（メタデータ） (2023-12-11T13:03:21Z)
Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文参考訳（メタデータ） (2023-10-23T16:37:59Z)
FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy [7.963276533979389]
フェデレートラーニング(FL)がIoT(Internet of Things)で大人気 FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。その結果,既存のFLフレームワークと比較してFLrceは計算効率を少なくとも30%,通信効率を43%向上させることがわかった。
論文参考訳（メタデータ） (2023-10-15T10:13:44Z)
Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文参考訳（メタデータ） (2023-05-15T22:04:49Z)
Communication-Efficient Federated Learning with Binary Neural Networks [15.614120327271557]
フェデレート・ラーニング(Federated Learning, FL)は、プライバシ保護のための機械学習環境である。 FLは、トレーニングをコーディネートするすべてのクライアントとサーバ間のパラメータの頻繁な交換を伴う。本稿では,通常の実数値ニューラルネットワークの代わりに,FL設定におけるバイナリニューラルネットワーク(BNN)のトレーニングを検討する。
論文参考訳（メタデータ） (2021-10-05T15:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。