論文の概要: Federated Dynamic Sparse Training: Computing Less, Communicating Less,
Yet Learning Better
- arxiv url: http://arxiv.org/abs/2112.09824v1
- Date: Sat, 18 Dec 2021 02:26:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-21 14:30:43.787159
- Title: Federated Dynamic Sparse Training: Computing Less, Communicating Less,
Yet Learning Better
- Title（参考訳）: federated dynamic sparse training: コンピューティングの削減、コミュニケーションの削減、学習の改善
- Authors: Sameer Bibikar, Haris Vikalo, Zhangyang Wang, Xiaohan Chen
- Abstract要約: Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。
我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。
FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
- 参考スコア（独自算出の注目度）: 88.28293442298015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) enables distribution of machine learning workloads
from the cloud to resource-limited edge devices. Unfortunately, current deep
networks remain not only too compute-heavy for inference and training on edge
devices, but also too large for communicating updates over
bandwidth-constrained networks. In this paper, we develop, implement, and
experimentally validate a novel FL framework termed Federated Dynamic Sparse
Training (FedDST) by which complex neural networks can be deployed and trained
with substantially improved efficiency in both on-device computation and
in-network communication. At the core of FedDST is a dynamic process that
extracts and trains sparse sub-networks from the target full network. With this
scheme, "two birds are killed with one stone:" instead of full models, each
client performs efficient training of its own sparse networks, and only sparse
networks are transmitted between devices and the cloud. Furthermore, our
results reveal that the dynamic sparsity during FL training more flexibly
accommodates local heterogeneity in FL agents than the fixed, shared sparse
masks. Moreover, dynamic sparsity naturally introduces an "in-time
self-ensembling effect" into the training dynamics and improves the FL
performance even over dense training. In a realistic and challenging non i.i.d.
FL setting, FedDST consistently outperforms competing algorithms in our
experiments: for instance, at any fixed upload data cap on non-iid CIFAR-10, it
gains an impressive accuracy advantage of 10% over FedAvgM when given the same
upload data cap; the accuracy gap remains 3% even when FedAvgM is given 2x the
upload data cap, further demonstrating efficacy of FedDST. Code is available
at: https://github.com/bibikar/feddst.
- Abstract（参考訳）: Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。
残念なことに、現在のディープネットワークはエッジデバイスでの推論やトレーニングには計算量が多いだけでなく、帯域幅制限のネットワーク上での更新通信にも大きすぎる。
本稿では,デバイス上での計算とネットワーク内通信の効率を大幅に向上させ,複雑なニューラルネットワークを展開訓練できる新しいflフレームワークであるfederated dynamic sparse training(feddst)を開発し,実装し,実験的に検証する。
FedDSTの中核は、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
このスキームでは、フルモデルではなく、各クライアントが自身のスパースネットワークを効率的にトレーニングし、スパースネットワークのみがデバイスとクラウドの間で送信される。
さらに,FLトレーニング時の動的疎水性は固定された共有スパースマスクよりもFLエージェントの局所的不均一性に柔軟に適合することが明らかとなった。
さらに、動的疎水性は、訓練力学に自然に「インタイム自己認識効果」を導入し、高密度トレーニングよりもFL性能を向上させる。
例えば、CIFAR-10の任意の固定アップロードデータキャップでは、同じアップロードデータキャップが与えられた場合、FedAvgMよりも10%の精度で、FedAvgMがアップロードデータキャップの2倍の精度で与えられた場合でも、精度のギャップは3%であり、さらにFedDSTの有効性を示す。
コードはhttps://github.com/bibikar/feddst.com/で入手できる。
関連論文リスト
- Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - FedFNN: Faster Training Convergence Through Update Predictions in
Federated Recommender Systems [4.4273123155989715]
フェデレートラーニング(FL)は、分散機械学習の鍵となるアプローチとして登場した。
本稿では、分散モデルトレーニングを高速化するアルゴリズムであるFedFNNを紹介する。
論文 参考訳（メタデータ） (2023-09-14T13:18:43Z) - FedDCT: A Dynamic Cross-Tier Federated Learning Scheme in Wireless
Communication Networks [1.973745731206255]
フェデレートラーニング(FL)は、クライアント間で、ローカルデータを公開せずにグローバルモデルのトレーニングを可能にする。
我々は、無線通信ネットワークにおけるトレーニング精度と性能を向上させるために、FedDCTと呼ばれる新しい動的クロス層FLスキームを提案する。
論文 参考訳（メタデータ） (2023-07-10T08:54:07Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳（メタデータ） (2022-09-01T03:27:33Z) - SlimFL: Federated Learning with Superposition Coding over Slimmable
Neural Networks [56.68149211499535]
フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。
本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳（メタデータ） (2022-03-26T15:06:13Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - FedFog: Network-Aware Optimization of Federated Learning over Wireless
Fog-Cloud Systems [40.421253127588244]
フェデレートラーニング(FL)は、訓練されたローカルパラメータを定期的に集約することで、複数のエッジユーザにわたって大規模な分散機械学習タスクを実行することができる。
まず,フォグサーバにおける勾配パラメータの局所的な集約と,クラウドでのグローバルトレーニング更新を行うための効率的なFLアルゴリズム(FedFog)を提案する。
論文 参考訳（メタデータ） (2021-07-04T08:03:15Z) - Towards Heterogeneous Clients with Elastic Federated Learning [45.2715985913761]
フェデレーション学習では、エッジプロセッサやデータウェアハウスなどのデバイスやデータサイロ上で、データをローカルに保ちながら、マシンラーニングモデルをトレーニングする。
本稿では,不均一性に対処する非バイアスアルゴリズムであるElastic Federated Learning (EFL)を提案する。
上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
論文 参考訳（メタデータ） (2021-06-17T12:30:40Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。