論文の概要: FLAMMABLE: A Multi-Model Federated Learning Framework with Multi-Model Engagement and Adaptive Batch Sizes
- arxiv url: http://arxiv.org/abs/2510.10380v1
- Date: Sun, 12 Oct 2025 00:38:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:29.914622
- Title: FLAMMABLE: A Multi-Model Federated Learning Framework with Multi-Model Engagement and Adaptive Batch Sizes
- Title(参考訳): FLAMMABLE: マルチモデルエンゲージメントと適応バッチサイズを備えた多モデルフェデレーション学習フレームワーク
- Authors: Shouxu Lin, Zimeng Pan, Yuhang Yao, Haeyoung Noh, Pei Zhang, Carlee Joe-Wong,
- Abstract要約: MMFL(Multi-Model Federated Learning)は、フェデレートラーニング(FL)における新たな方向性である
総合的なMMFLトレーニングフレームワークであるFLAMMABLEを提案する。
FLAMMABLEはMMFLの時間-精度を1.1$sim$10.0$times$で向上し、最終的なモデルの精度はいくつかの既知のベースラインと比較して1.3$sim$5.4%向上することを示す。
- 参考スコア(独自算出の注目度): 26.562420671856568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-Model Federated Learning (MMFL) is an emerging direction in Federated Learning (FL) where multiple models are trained in parallel, generally on various datasets. Optimizing the models' accuracies and training times in the MMFL setting requires adapting to data and system heterogeneity across clients as in single-model FL; these challenges are amplified in the MMFL setting due to additional heterogeneity across models. Neither existing solutions nor na\"ive extensions of single-model FL frameworks efficiently address these challenges. To bridge this gap, we propose FLAMMABLE, a comprehensive MMFL training framework. FLAMMABLE optimizes model training by intelligently adapting client batch sizes while engaging them to train multiple carefully chosen models, depending on their system capabilities, in each training round. To evaluate FLAMMABLE, we develop the first benchmark platform for the MMFL setting, which may enable future reproducible MMFL research. Extensive evaluations on multiple datasets and models show that FLAMMABLE boosts the MMFL time-to-accuracy performance by 1.1$\sim$10.0$\times$ while improving the final model accuracy by 1.3$\sim$5.4\% compared to several known baselines.
- Abstract(参考訳): MMFL(Multi-Model Federated Learning)は、フェデレートラーニング(FL)において、さまざまなデータセット上で複数のモデルを並列にトレーニングする新たな方向性である。
MMFL設定におけるモデルの精度とトレーニング時間を最適化するには、単一モデルFLのようにクライアント間でのデータやシステムの不均一性に適応する必要がある。
既存のソリューションも、シングルモデルFLフレームワークの"na\"拡張も、これらの課題に効率的に対処することはできません。
このギャップを埋めるため、包括的MMFLトレーニングフレームワークであるFLAMMABLEを提案する。
FLAMMABLEは、クライアントのバッチサイズをインテリジェントに調整し、各トレーニングラウンドにおいて、システム能力に応じて、慎重に選択された複数のモデルをトレーニングすることで、モデルのトレーニングを最適化する。
FLAMMableを評価するために、将来の再現可能なMMFL研究を可能にするMMFL設定のための最初のベンチマークプラットフォームを開発する。
複数のデータセットやモデルに対する大規模な評価によると、FLAMMABLEはMMFLの時間と精度を1.1$\sim$10.0$\times$で向上し、最終的なモデルの精度はいくつかの既知のベースラインと比較して1.3$\sim$5.4\%向上している。
関連論文リスト
- Towards Optimal Heterogeneous Client Sampling in Multi-Model Federated Learning [22.787635207005884]
フェデレーション学習により、エッジデバイスは、ローカルデータを共有せずに、協力的にモデルをトレーニングできる。
クライアントは複数の無関係なFLモデルをトレーニングする必要があるかもしれないが、通信制約はすべてのモデルを同時にトレーニングする能力を制限する。
本稿では,サーバにおける通信制限を明示的に尊重しつつ,トレーニングのばらつきを最小限に抑えた損失ベースサンプリング手法MMFL-LVRを提案する。
論文 参考訳(メタデータ) (2025-04-07T14:43:17Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。
深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-08-15T13:29:14Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z) - PFL-MoE: Personalized Federated Learning Based on Mixture of Experts [1.8757823231879849]
フェデレーションラーニング(FL)は、データプライバシーを保護するために、トレーニングノード間のデータ共有を避けます。
PFL-MoEは一般的なアプローチであり、既存のPFLアルゴリズムを統合することでインスタンス化することができる。
本稿では,Fashion-MNISTデータセット上でLeNet-5およびVGG-16モデルをトレーニングし,PFL-MoEの有効性を示す。
論文 参考訳(メタデータ) (2020-12-31T12:51:14Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳(メタデータ) (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。