論文の概要: Flower Hub: A Reproducible Benchmarking Platform for Federated Learning in Simulation and Deployment
- arxiv url: http://arxiv.org/abs/2608.25114v1
- Date: Tue, 25 Aug 2026 20:09:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.428326
- Title: Flower Hub: A Reproducible Benchmarking Platform for Federated Learning in Simulation and Deployment
- Title(参考訳): Flower Hub: シミュレーションとデプロイにおけるフェデレーション学習のための再現可能なベンチマークプラットフォーム
- Abstract要約: Flower Hubは、分散およびフェデレーションされたアプリケーションを公開、発見、実行するためのプラットフォームです。
ベンチマークを実行可能としてパッケージングすることで再現性のあるベンチマークを実現する方法、標準化されたメタデータを備えたバージョン管理されたアプリケーション、ピン付き依存関係、明示的な評価について示す。
- 参考スコア(独自算出の注目度): 51.83961778298564
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) has emerged as a key approach for training models across decentralized data, yet benchmarking in FL remains difficult to reproduce, compare, and extend. Existing evaluations are often tied to custom infrastructure, released as incomplete research code, and conducted primarily in simulation, which limits portability and practical relevance. We present Flower Hub, a platform for publishing, discovering, and executing decentralized and federated applications. We show how it enables reproducible benchmarking by packaging benchmarks as executable, versioned applications with standardized metadata, pinned dependencies, and explicit evaluation workflows. We instantiate this approach with a multi-domain benchmark suite spanning cross-silo and cross-device settings, and including tasks in medical imaging, financial tabular learning, legal instruction tuning, phishing URL detection, and audio tagging. We further demonstrate that the same benchmarking application can run across both simulation and deployment runtimes without changing the application code, enabling unified evaluation across varying learning environments. Beyond model quality, our benchmark design supports system-aware reporting, including runtime and communication metrics. This work advances benchmarking in FL settings from ad hoc code artifacts towards portable, executable, and reusable benchmark applications.
- Abstract(参考訳): フェデレートラーニング(FL)は、分散データ間のモデルをトレーニングするための重要なアプローチとして登場したが、FLでのベンチマークは、再現、比較、拡張が難しいままである。
既存の評価は、しばしば、不完全な研究コードとしてリリースされるカスタムインフラストラクチャに結びついており、主に移植性と実用上の関連性を制限するシミュレーションで行われている。
Flower Hubは、分散およびフェデレーションされたアプリケーションを公開、発見、実行するためのプラットフォームです。
ベンチマークを実行可能としてパッケージングすることで再現可能なベンチマークを実現する方法、標準化されたメタデータを備えたバージョン管理されたアプリケーション、ピン付き依存関係、明示的な評価ワークフローを示す。
このアプローチを、クロスサイロとクロスデバイス設定にまたがるマルチドメインベンチマークスイートでインスタンス化し、医用画像、ファイナンシャルタブラーニング、法的命令チューニング、フィッシングURL検出、オーディオタグ付けなどのタスクを含む。
さらに、同じベンチマークアプリケーションが、アプリケーションコードを変更することなく、シミュレーションとデプロイメントランタイムの両方で実行可能であることを実証し、さまざまな学習環境において統一的な評価を可能にする。
モデル品質以外にも、我々のベンチマーク設計では、ランタイムや通信メトリクスを含むシステム対応のレポーティングをサポートしています。
この作業は、FL設定におけるベンチマークを、アドホックなコードアーティファクトから、ポータブルで実行可能で再利用可能なベンチマークアプリケーションへと前進させる。
関連論文リスト
- UNIFERENCE: A Discrete Event Simulation Framework for Developing Distributed AI Models [0.42015796373418257]
UNIは、分散AIモデルの開発とベンチマーク、デプロイのための離散イベントシミュレーションフレームワークである。
PyTorch Distributedとシームレスに統合され、シミュレーションから実際のデプロイメントへの移行を可能にする。
論文 参考訳(メタデータ) (2026-03-27T14:35:02Z) - UniDial-EvalKit: A Unified Toolkit for Evaluating Multi-Faceted Conversational Abilities [70.79422099851506]
対話型AIシステム評価のための統合評価ツールキットUniDial-EvalKit(UDE)を提案する。
UDEは異種データフォーマットを普遍的なスキーマに標準化し、モジュールアーキテクチャを通じて複雑な評価パイプラインを合理化し、一貫したスコアリングインターフェースの下でメートル法計算を調整する。
論文 参考訳(メタデータ) (2026-03-24T13:01:31Z) - DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。
ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。
我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
論文 参考訳(メタデータ) (2026-03-01T16:10:16Z) - Easy Data Unlearning Bench [53.1304932656586]
アンラーニングアルゴリズムの評価を簡略化する統一型ベンチマークスイートを導入する。
セットアップとメトリクスの標準化により、未学習のメソッド間で再現性、拡張性、公正な比較が可能になる。
論文 参考訳(メタデータ) (2026-02-18T12:20:32Z) - FLsim: A Modular and Library-Agnostic Simulation Framework for Federated Learning [3.62218729239779]
フェデレートラーニング(FL)は2016年の創業以来、大きな発展を遂げてきた。
文献におけるFLの多様な要件を満たすために設計された総合的なFLシミュレーションフレームワークであるFLsimを紹介する。
FLsimの多種多様な技術実験における有効性と汎用性を示す。
論文 参考訳(メタデータ) (2025-07-15T15:53:01Z) - Benchmarking Federated Learning for Semantic Datasets: Federated Scene Graph Generation [3.499870393443268]
フェデレートラーニング(FL)はデータのプライバシを維持しながら分散トレーニングを可能にするが、既存のFLベンチマークは比較的単純な分類タスクに対処する。
クライアント間のセマンティックな不均一性を制御可能なFLベンチマークを構築するためのベンチマークプロセスを提案する。
概念実証として,既存のPSG手法の有効性をFL設定で実証するフェデレートPSGベンチマークを構築した。
論文 参考訳(メタデータ) (2024-12-11T08:10:46Z) - SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。
SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。
当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
論文 参考訳(メタデータ) (2024-10-04T14:52:18Z) - FedModule: A Modular Federated Learning Framework [5.872098693249397]
フェデレートラーニング(FL)は、医療、金融、スマートシティなど、さまざまな分野で広く採用されている。
本稿では,フレキシブルかつFLな実験フレームワークであるFedModuleを紹介する。
FedModuleは"1つのコード、すべてのシナリオ"の原則に準拠し、FLプロセスを個々のコンポーネントに分割するモジュール設計を採用しています。
論文 参考訳(メタデータ) (2024-09-07T15:03:12Z) - FS-Real: Towards Real-World Cross-Device Federated Learning [60.91678132132229]
Federated Learning (FL)は、ローカルデータをアップロードすることなく、分散クライアントと協調して高品質なモデルをトレーニングすることを目的としている。
FL研究と実世界のシナリオの間には依然としてかなりのギャップがあり、主に異種デバイスの特徴とそのスケールによって引き起こされている。
本稿では,実世界横断デバイスFL,FS-Realのための効率的でスケーラブルなプロトタイピングシステムを提案する。
論文 参考訳(メタデータ) (2023-03-23T15:37:17Z) - FedScale: Benchmarking Model and System Performance of Federated
Learning [4.1617240682257925]
FedScaleは、連邦学習(FL)研究のための、挑戦的で現実的なベンチマークデータセットのセットである。
FedScaleはオープンソースで、寛容なライセンスを持ち、積極的にメンテナンスされている。
論文 参考訳(メタデータ) (2021-05-24T15:55:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。