論文の概要: UniFed: All-In-One Federated Learning Platform to Unify Open-Source
Frameworks
- arxiv url: http://arxiv.org/abs/2207.10308v3
- Date: Sat, 30 Dec 2023 17:33:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 03:20:49.833531
- Title: UniFed: All-In-One Federated Learning Platform to Unify Open-Source
Frameworks
- Title(参考訳): UniFed: オープンソースフレームワークを統合するオールインワンのフェデレーション学習プラットフォーム
- Authors: Xiaoyuan Liu, Tianneng Shi, Chulin Xie, Qinbin Li, Kangping Hu, Haoyu
Kim, Xiaojun Xu, The-Anh Vu-Le, Zhen Huang, Arash Nourian, Bo Li, Dawn Song
- Abstract要約: オープンソースフェデレートラーニング(FL)フレームワークを標準化する最初の統一プラットフォームであるUniFedを紹介します。
UniFedは、分散実験とデプロイメントのためのエンドツーエンドワークフローを合理化し、11の人気のあるオープンソースFLフレームワークを含んでいる。
機能、プライバシ保護、パフォーマンスの観点から、11の人気のあるFLフレームワークを評価し比較する。
- 参考スコア(独自算出の注目度): 53.20176108643942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) has become a practical and widely adopted distributed
learning paradigm. However, the lack of a comprehensive and standardized
solution covering diverse use cases makes it challenging to use in practice. In
addition, selecting an appropriate FL framework for a specific use case can be
a daunting task. In this work, we present UniFed, the first unified platform
for standardizing existing open-source FL frameworks. The platform streamlines
the end-to-end workflow for distributed experimentation and deployment,
encompassing 11 popular open-source FL frameworks. In particular, to address
the substantial variations in workflows and data formats, UniFed introduces a
configuration-based schema-enforced task specification, offering 20 editable
fields. UniFed also provides functionalities such as distributed execution
management, logging, and data analysis.
With UniFed, we evaluate and compare 11 popular FL frameworks from the
perspectives of functionality, privacy protection, and performance, through
conducting developer surveys and code-level investigation. We collect 15
diverse FL scenario setups (e.g., horizontal and vertical settings) for FL
framework evaluation. This comprehensive evaluation allows us to analyze both
model and system performance, providing detailed comparisons and offering
recommendations for framework selection. UniFed simplifies the process of
selecting and utilizing the appropriate FL framework for specific use cases,
while enabling standardized distributed experimentation and deployment. Our
results and analysis based on experiments with up to 178 distributed nodes
provide valuable system design and deployment insights, aiming to empower
practitioners in their pursuit of effective FL solutions.
- Abstract(参考訳): フェデレーション学習(fl)は実践的で広く採用されている分散学習パラダイムとなっている。
しかし、多様なユースケースをカバーする包括的で標準化されたソリューションが欠如しているため、実際にの使用は困難である。
さらに、特定のユースケースに対して適切なFLフレームワークを選択することは大変な作業です。
本稿では,既存のオープンソースFLフレームワークを標準化する最初の統一プラットフォームであるUniFedを紹介する。
プラットフォームは、分散実験とデプロイのためのエンドツーエンドワークフローを合理化し、11の人気のあるオープンソースflフレームワークを含んでいる。
特にワークフローとデータフォーマットのかなりのバリエーションに対処するために、unifedは20の編集可能なフィールドを提供する構成ベースのスキーマ強化タスク仕様を導入した。
unifedはまた、分散実行管理、ロギング、データ分析などの機能を提供する。
UniFedでは、開発者調査やコードレベルの調査を通じて、機能、プライバシ保護、パフォーマンスの観点から、11の人気のあるFLフレームワークを評価し、比較します。
FLフレームワーク評価のための15の多様なFLシナリオ設定(水平および垂直の設定など)を収集する。
この包括的な評価によって、モデルとシステムのパフォーマンスの両方を分析し、詳細な比較とフレームワーク選択の推奨を提供することができます。
UniFedは、特定のユースケースに対して適切なFLフレームワークを選択して利用し、標準化された分散実験とデプロイを可能にするプロセスを簡単にする。
分散ノード178個までの実験に基づく結果と分析は,効果的なflソリューションを追求する実践者への支援を目的とした,貴重なシステム設計とデプロイメントの洞察を提供する。
関連論文リスト
- Advances in APPFL: A Comprehensive and Extensible Federated Learning Framework [1.4206132527980742]
Federated Learning(FL)は、データプライバシを保持しながら協調的なモデルトレーニングを可能にする分散機械学習パラダイムである。
本稿では,統合学習のためのフレームワークおよびベンチマークスイートであるAPPFLの開発における最近の進歩について述べる。
本稿では, 通信効率, プライバシー保護, 計算性能, 資源利用など, FLの様々な側面を評価する広範な実験を通じて, APPFLの能力を実証する。
論文 参考訳(メタデータ) (2024-09-17T22:20:26Z) - FedModule: A Modular Federated Learning Framework [5.872098693249397]
フェデレートラーニング(FL)は、医療、金融、スマートシティなど、さまざまな分野で広く採用されている。
本稿では,フレキシブルかつFLな実験フレームワークであるFedModuleを紹介する。
FedModuleは"1つのコード、すべてのシナリオ"の原則に準拠し、FLプロセスを個々のコンポーネントに分割するモジュール設計を採用しています。
論文 参考訳(メタデータ) (2024-09-07T15:03:12Z) - Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳(メタデータ) (2024-09-05T19:00:18Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳(メタデータ) (2022-10-31T22:59:03Z) - ModularFed: Leveraging Modularity in Federated Learning Frameworks [8.139264167572213]
本稿では,フェデレートラーニング(FL)実装の複雑さに対処する研究に焦点を当てたフレームワークを提案する。
このアーキテクチャでは、プロトコルはフレームワークのコンポーネントの設計を厳密に定義する青写真である。
我々のプロトコルはFLにおけるモジュラリティの実現を目的としており、サードパーティのプラグイン・アンド・プレイアーキテクチャと動的シミュレータをサポートしています。
論文 参考訳(メタデータ) (2022-10-31T10:21:19Z) - Test-Time Robust Personalization for Federated Learning [5.553167334488855]
Federated Learning(FL)は、多くのクライアントが分散トレーニングデータで共有グローバルモデルを共同で学習する機械学習パラダイムである。
パーソナライズされたFLは、グローバルモデルを異なるクライアントに適応させ、一貫したローカルトレーニングとテスト分布に関する有望な結果を達成する。
テスト時間分布シフトに頑健なFLモデルをパーソナライズするフェデレーションテスト時ヘッドアンサンブルとチューニング(FedTHE+)を提案する。
論文 参考訳(メタデータ) (2022-05-22T20:08:14Z) - FederatedScope: A Comprehensive and Flexible Federated Learning Platform
via Message Passing [63.87056362712879]
我々は,メッセージ指向フレームワークを基盤とした,新しい総合的なフェデレート学習プラットフォームであるFederatedScopeを提案する。
手続き型フレームワークと比較して、提案されたメッセージ指向フレームワークは異種メッセージ交換を表現するのに柔軟である。
我々は、FederatedScopeの正確性と効率性を検証するために、提供された簡易かつ包括的なFLベンチマークについて一連の実験を行った。
論文 参考訳(メタデータ) (2022-04-11T11:24:21Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。