論文の概要: MetisFL: An Embarrassingly Parallelized Controller for Scalable &
Efficient Federated Learning Workflows
- arxiv url: http://arxiv.org/abs/2311.00334v1
- Date: Wed, 1 Nov 2023 07:01:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 14:33:03.826457
- Title: MetisFL: An Embarrassingly Parallelized Controller for Scalable &
Efficient Federated Learning Workflows
- Title（参考訳）: MetisFL: スケーラブルで効率的なフェデレーション学習ワークフローのための恥ずかしいほど並列化されたコントローラ
- Authors: Dimitris Stripelis, Chrysovalantis Anastasiou, Patrick Toral, Armaghan
Asghar, Jose Luis Ambite
- Abstract要約: フェデレーション・ラーニング(FL)システムは通常、フェデレーション・コントローラと学習者という2つのコア・プロセス・エンティティから構成される。
このニーズに応えるために,フェデレーションコントローラが第一級市民であるMetisFLと呼ばれる新しいFLシステムを設計・開発した。
メティスFLは、大規模なFLの訓練を加速するために、フェデレーションコントローラによって行われた全ての操作を再設計する。
- 参考スコア（独自算出の注目度）: 1.9874264019909988
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A Federated Learning (FL) system typically consists of two core processing
entities: the federation controller and the learners. The controller is
responsible for managing the execution of FL workflows across learners and the
learners for training and evaluating federated models over their private
datasets. While executing an FL workflow, the FL system has no control over the
computational resources or data of the participating learners. Still, it is
responsible for other operations, such as model aggregation, task dispatching,
and scheduling. These computationally heavy operations generally need to be
handled by the federation controller. Even though many FL systems have been
recently proposed to facilitate the development of FL workflows, most of these
systems overlook the scalability of the controller. To meet this need, we
designed and developed a novel FL system called MetisFL, where the federation
controller is the first-class citizen. MetisFL re-engineers all the operations
conducted by the federation controller to accelerate the training of
large-scale FL workflows. By quantitatively comparing MetisFL against other
state-of-the-art FL systems, we empirically demonstrate that MetisFL leads to a
10-fold wall-clock time execution boost across a wide range of challenging FL
workflows with increasing model sizes and federation sites.
- Abstract（参考訳）: FL(Federated Learning)システムは通常、フェデレーションコントローラと学習者という2つのコア処理エンティティで構成される。
コントローラは、学習者と学習者間のflワークフローの実行を管理し、プライベートデータセット上の連合モデルのトレーニングと評価を行う。
flワークフローの実行中、flシステムは、参加する学習者の計算リソースやデータの制御を行なわない。
それでも、モデル集約、タスクのディスパッチ、スケジューリングなど、他のオペレーションにも責任がある。
これらの計算量の多い操作は一般にフェデレーションコントローラによって処理される必要がある。
flワークフローの開発を容易にするために、多くのflシステムが最近提案されているが、これらのシステムのほとんどはコントローラのスケーラビリティを見落としている。
このニーズに応えるために,フェデレーションコントローラが第一級市民であるMetisFLと呼ばれる新しいFLシステムを設計・開発した。
metisflは、フェデレーションコントローラが行うすべての操作を再設計し、大規模なflワークフローのトレーニングを加速する。
metisflを最先端のflシステムと定量的に比較することにより,モデルサイズやフェデレーションサイトの増加とともに,幅広いflワークフローにまたがって,metisflが10倍のウォールクロック時間実行促進につながることを実証した。
関連論文リスト
- A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - MAS: Towards Resource-Efficient Federated Multiple-Task Learning [29.60567693814403]
Federated Learning(FL)は、分散型エッジデバイス上でのその場でモデルトレーニングを可能にする、新興の分散機械学習手法である。
本稿では,複数の同時FLタスクを効果的にコーディネートし,訓練するための最初のFLシステムを提案する。
我々は、複数のFLタスクを同時に学習する際の性能を最適化するために、新しいアプローチであるMAS(Merge and Split)を提案する。
論文 参考訳（メタデータ） (2023-07-21T01:04:52Z) - Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation
and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。
最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。
本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文 参考訳（メタデータ） (2023-03-23T02:42:10Z) - Comparative Evaluation of Data Decoupling Techniques for Federated
Machine Learning with Database as a Service [17.769779803790264]
Federated Learning(FL)は、複数のクライアントが生データを共有せずに、共同で共有モデルを学ぶことができる機械学習アプローチである。
現在のFLシステムはオールインワンのソリューションを提供しており、科学的応用のような特定の領域におけるFLの広範な採用を妨げる可能性がある。
本稿では、クライアントが特定のデータサブシステムでFLアプリケーションをカスタマイズできるデカップリング手法を提案する。
論文 参考訳（メタデータ） (2023-03-15T05:17:00Z) - Scheduling and Aggregation Design for Asynchronous Federated Learning
over Wireless Networks [56.91063444859008]
Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。
FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。
年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2022-12-14T17:33:01Z) - Federated Learning Hyper-Parameter Tuning from a System Perspective [23.516484538620745]
Federated Learning(FL)は、クライアントのデータプライバシを保存する分散モデルトレーニングパラダイムである。
FLハイパーパラメータを手動で選択する現在の実践は、FL実践者に重荷を課す。
本稿では,アプリケーションの多様なシステム要件に合わせて自動FLハイパーパラメータチューニングアルゴリズムであるFedTuneを提案する。
論文 参考訳（メタデータ） (2022-11-24T15:15:28Z) - Papaya: Practical, Private, and Scalable Federated Learning [6.833772874570774]
クロスデバイス・フェデレーション・ラーニング(FL)は分散学習パラダイムであり、いくつかの課題がある。
文献で説明されているほとんどのFLシステムは同期であり、個々のクライアントからモデル更新を同期で集約します。
本稿では,実運用における非同期FLシステムの設計について概説する。
論文 参考訳（メタデータ） (2021-11-08T23:46:42Z) - Device Scheduling and Update Aggregation Policies for Asynchronous
Federated Learning [72.78668894576515]
Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。
本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-23T18:57:08Z) - Evaluation and Optimization of Distributed Machine Learning Techniques
for Internet of Things [34.544836653715244]
federated learning (fl) と split learning (sl) は最先端の分散機械学習技術である。
最近のFLとSLは、それぞれの利点を活用するために、分割学習(SFL)を形成するために組み合わせられる。
この作業ではFL、SL、SFLを考慮し、Raspberry Piデバイスにマウントしてパフォーマンスを評価します。
論文 参考訳（メタデータ） (2021-03-03T23:55:37Z) - FedML: A Research Library and Benchmark for Federated Machine Learning [55.09054608875831]
フェデレート・ラーニング(Federated Learning, FL)は、機械学習の分野で急速に成長している研究分野である。
既存のFLライブラリは多様なアルゴリズム開発を適切にサポートできない。
FLアルゴリズムの開発と公正な性能比較を容易にするための,オープンな研究ライブラリとベンチマークであるFedMLを紹介する。
論文 参考訳（メタデータ） (2020-07-27T13:02:08Z) - Wireless Communications for Collaborative Federated Learning [160.82696473996566]
IoT(Internet of Things)デバイスは、収集したデータを中央のコントローラに送信することができず、機械学習モデルをトレーニングすることができる。
GoogleのセミナルFLアルゴリズムでは、すべてのデバイスを中央コントローラに直接接続する必要がある。
本稿では,コラボレーティブFL(CFL)と呼ばれる新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-03T20:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。