Fugu-MT 論文翻訳(概要): FedML Parrot: A Scalable Federated Learning System via Heterogeneity-aware Scheduling on Sequential and Hierarchical Training

論文の概要: FedML Parrot: A Scalable Federated Learning System via Heterogeneity-aware Scheduling on Sequential and Hierarchical Training

arxiv url: http://arxiv.org/abs/2303.01778v1
Date: Fri, 3 Mar 2023 08:36:35 GMT
ステータス: 処理完了
システム内更新日: 2023-03-06 15:42:46.911766
Title: FedML Parrot: A Scalable Federated Learning System via Heterogeneity-aware Scheduling on Sequential and Hierarchical Training
Title（参考訳）: fedml parrot: 逐次的および階層的トレーニングにおけるヘテロゲニティアウェアスケジューリングによるスケーラブルなフェデレーション学習システム
Authors: Zhenheng Tang, Xiaowen Chu, Ryan Yide Ran, Sunwoo Lee, Shaohuai Shi, Yonggang Zhang, Yuxin Wang, Alex Qiaozhong Liang, Salman Avestimehr, Chaoyang He
Abstract要約: Federated Learning (FL)は、データプライバシを保護しながらマシンラーニングモデルをトレーニングするクライアント間のコラボレーションを可能にする。既存のFLシミュレーションプラットフォームは、シミュレーションと運用の間の面倒なコードマイグレーション、低効率、低GPUユーティリティ、高いハードウェア要件を備えた低スケーラビリティ、ステートフルクライアントのシミュレーションの難しさに悩まされている。本研究では,FLシミュレーションの課題とボトルネックを解明し,FedML texttParrotと名付けられた新しいFLシステムを設計する。トレーニング効率を改善し、ハードウェアの要件を著しく緩和し、ステートフルクライアントによる大規模FL実験を効率的にサポートする。
参考スコア（独自算出の注目度）: 32.365758195833195
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) enables collaborations among clients for train machine learning models while protecting their data privacy. Existing FL simulation platforms that are designed from the perspectives of traditional distributed training, suffer from laborious code migration between simulation and production, low efficiency, low GPU utility, low scalability with high hardware requirements and difficulty of simulating stateful clients. In this work, we firstly demystify the challenges and bottlenecks of simulating FL, and design a new FL system named as FedML \texttt{Parrot}. It improves the training efficiency, remarkably relaxes the requirements on the hardware, and supports efficient large-scale FL experiments with stateful clients by: (1) sequential training clients on devices; (2) decomposing original aggregation into local and global aggregation on devices and server respectively; (3) scheduling tasks to mitigate straggler problems and enhance computing utility; (4) distributed client state manager to support various FL algorithms. Besides, built upon our generic APIs and communication interfaces, users can seamlessly transform the simulation into the real-world deployment without modifying codes. We evaluate \texttt{Parrot} through extensive experiments for training diverse models on various FL datasets to demonstrate that \texttt{Parrot} can achieve simulating over 1000 clients (stateful or stateless) with flexible GPU devices setting ($4 \sim 32$) and high GPU utility, 1.2 $\sim$ 4 times faster than FedScale, and 10 $\sim$ 100 times memory saving than FedML. And we verify that \texttt{Parrot} works well with homogeneous and heterogeneous devices in three different clusters. Two FL algorithms with stateful clients and four algorithms with stateless clients are simulated to verify the wide adaptability of \texttt{Parrot} to different algorithms.
Abstract（参考訳）: Federated Learning (FL)は、データプライバシを保護しながらマシンラーニングモデルをトレーニングするクライアント間のコラボレーションを可能にする。既存のFLシミュレーションプラットフォームは、従来の分散トレーニングの観点から設計されており、シミュレーションとプロダクションの間の面倒なコードマイグレーション、低効率、低GPUユーティリティ、高いハードウェア要件を備えた低スケーラビリティ、ステートフルクライアントのシミュレーションが困難である。本研究では,まずflシミュレーションの課題とボトルネックを解消し,feedml \texttt{parrot} と呼ばれる新しいflシステムを設計する。ハードウェア上の要件を著しく緩和し、(1)デバイス上での逐次トレーニングクライアント、(2)デバイスとサーバ上でのローカルおよびグローバルアグリゲーションへのオリジナルアグリゲーションの分解、(3)ストラグラー問題の軽減とコンピューティングユーティリティの強化のためのスケジューリングタスク、(4)分散クライアント状態マネージャによる様々なflアルゴリズムのサポートなどにより、ステートフルクライアントとの効率的な大規模fl実験をサポートする。さらに、当社の汎用apiと通信インターフェース上に構築されたユーザは、コードを変更せずに、シミュレーションを現実世界のデプロイメントにシームレスに変換することができます。様々なflデータセット上で多様なモデルをトレーニングするための広範な実験を通じて、 \texttt{parrot}を評価し、フレキシブルなgpuデバイスで1000以上のクライアント(ステートフルまたはステートレス)をシミュレートできることを示した。そして、 \texttt{Parrot} が3つの異なるクラスタにおける同種および異種デバイスとうまく機能することを検証する。ステートフルクライアントを持つ2つのflアルゴリズムとステートレスクライアントを持つ4つのアルゴリズムをシミュレートし、異なるアルゴリズムに対する \texttt{parrot} の広い適応性を検証する。

関連論文リスト

A Framework for testing Federated Learning algorithms using an edge-like environment [0.0]
フェデレーテッド・ラーニング(FL)は、多くのクライアントが、データをプライベートかつ分散化しながら、単一の集中型モデルを協調的にトレーニングする機械学習パラダイムである。グローバル集中型モデルアグリゲーションにおける局所モデルの貢献を正確に評価するのは簡単ではない。これはFLにおける大きな挑戦の例であり、一般にデータ不均衡またはクラス不均衡として知られている。本研究では,FLアルゴリズムをより容易かつスケーラブルに評価するためのフレームワークを提案し,実装した。
論文参考訳（メタデータ） (2024-07-17T19:52:53Z)
pfl-research: simulation framework for accelerating research in Private Federated Learning [6.421821657238535]
pfl-researchは、Federated Learning(FL)をシミュレートする高速でモジュール化された、使いやすいPythonフレームワークである。セットアップ、PyTorch、非ニューラルネットワークモデルをサポートし、最先端のアルゴリズムと密に統合されている。我々は,多様な現実的なシナリオに対して,アルゴリズムの全体的な性能を評価するベンチマークスイートをリリースする。
論文参考訳（メタデータ） (2024-04-09T16:23:01Z)
FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local Parameter Sharing [14.938531944702193]
局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。 FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。 FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
論文参考訳（メタデータ） (2024-02-13T16:30:30Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
論文参考訳（メタデータ） (2023-06-08T13:11:20Z)
Federated Nearest Neighbor Machine Translation [66.8765098651988]
本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
論文参考訳（メタデータ） (2023-02-23T18:04:07Z)
Protea: Client Profiling within Federated Systems using Flower [10.999800842836512]
FLフレームワークFlowerを用いて、フェデレーションシステム内でフレキシブルで軽量なクライアントプロファイリングコンポーネントであるProteaを設計、実装する。システムレベルの統計を自動的に収集し、各クライアントに必要なリソースを推定し、リソースを意識してシミュレーションを実行することができる。
論文参考訳（メタデータ） (2022-07-03T14:27:39Z)
FL_PyTorch: optimization research simulator for federated learning [1.6114012813668934]
フェデレートラーニング(FL)は、エッジデバイスが共同で機械学習モデルを学ぶための有望なテクニックとして登場した。 FL_PyTorchはpythonで書かれたオープンソースのソフトウェアスイートで、最も人気のあるDeep Learning (DL)フレームワークであるPyTorchの上に構築されている。
論文参考訳（メタデータ） (2022-02-07T12:18:28Z)
Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文参考訳（メタデータ） (2021-12-18T02:26:38Z)
Communication and Energy Efficient Slimmable Federated Learning via Superposition Coding and Successive Decoding [55.58665303852148]
フェデレートラーニング(FL)は、生データの代わりにローカルにトレーニングされたモデルを交換することで、プライベートデータを利用する大きな可能性を持っている。我々はSlimFLという新しいエネルギー・通信効率のFLフレームワークを提案する。 SlimFLは0.5$xモデルと1.0$xモデルの両方を適切な精度と収束速度で同時に訓練できることを示す。
論文参考訳（メタデータ） (2021-12-05T13:35:26Z)
FedML: A Research Library and Benchmark for Federated Machine Learning [55.09054608875831]
フェデレート・ラーニング(Federated Learning, FL)は、機械学習の分野で急速に成長している研究分野である。既存のFLライブラリは多様なアルゴリズム開発を適切にサポートできない。 FLアルゴリズムの開発と公正な性能比較を容易にするための,オープンな研究ライブラリとベンチマークであるFedMLを紹介する。
論文参考訳（メタデータ） (2020-07-27T13:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。