論文の概要: FLAMMABLE: A Multi-Model Federated Learning Framework with Multi-Model Engagement and Adaptive Batch Sizes
- arxiv url: http://arxiv.org/abs/2510.10380v1
- Date: Sun, 12 Oct 2025 00:38:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:29.914622
- Title: FLAMMABLE: A Multi-Model Federated Learning Framework with Multi-Model Engagement and Adaptive Batch Sizes
- Title(参考訳): FLAMMABLE: マルチモデルエンゲージメントと適応バッチサイズを備えた多モデルフェデレーション学習フレームワーク
- Authors: Shouxu Lin, Zimeng Pan, Yuhang Yao, Haeyoung Noh, Pei Zhang, Carlee Joe-Wong,
- Abstract要約: MMFL(Multi-Model Federated Learning)は、フェデレートラーニング(FL)における新たな方向性である
総合的なMMFLトレーニングフレームワークであるFLAMMABLEを提案する。
FLAMMABLEはMMFLの時間-精度を1.1$sim$10.0$times$で向上し、最終的なモデルの精度はいくつかの既知のベースラインと比較して1.3$sim$5.4%向上することを示す。
- 参考スコア(独自算出の注目度): 26.562420671856568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-Model Federated Learning (MMFL) is an emerging direction in Federated Learning (FL) where multiple models are trained in parallel, generally on various datasets. Optimizing the models' accuracies and training times in the MMFL setting requires adapting to data and system heterogeneity across clients as in single-model FL; these challenges are amplified in the MMFL setting due to additional heterogeneity across models. Neither existing solutions nor na\"ive extensions of single-model FL frameworks efficiently address these challenges. To bridge this gap, we propose FLAMMABLE, a comprehensive MMFL training framework. FLAMMABLE optimizes model training by intelligently adapting client batch sizes while engaging them to train multiple carefully chosen models, depending on their system capabilities, in each training round. To evaluate FLAMMABLE, we develop the first benchmark platform for the MMFL setting, which may enable future reproducible MMFL research. Extensive evaluations on multiple datasets and models show that FLAMMABLE boosts the MMFL time-to-accuracy performance by 1.1$\sim$10.0$\times$ while improving the final model accuracy by 1.3$\sim$5.4\% compared to several known baselines.
- Abstract(参考訳): MMFL(Multi-Model Federated Learning)は、フェデレートラーニング(FL)において、さまざまなデータセット上で複数のモデルを並列にトレーニングする新たな方向性である。
MMFL設定におけるモデルの精度とトレーニング時間を最適化するには、単一モデルFLのようにクライアント間でのデータやシステムの不均一性に適応する必要がある。
既存のソリューションも、シングルモデルFLフレームワークの"na\"拡張も、これらの課題に効率的に対処することはできません。
このギャップを埋めるため、包括的MMFLトレーニングフレームワークであるFLAMMABLEを提案する。
FLAMMABLEは、クライアントのバッチサイズをインテリジェントに調整し、各トレーニングラウンドにおいて、システム能力に応じて、慎重に選択された複数のモデルをトレーニングすることで、モデルのトレーニングを最適化する。
FLAMMableを評価するために、将来の再現可能なMMFL研究を可能にするMMFL設定のための最初のベンチマークプラットフォームを開発する。
複数のデータセットやモデルに対する大規模な評価によると、FLAMMABLEはMMFLの時間と精度を1.1$\sim$10.0$\times$で向上し、最終的なモデルの精度はいくつかの既知のベースラインと比較して1.3$\sim$5.4\%向上している。
関連論文リスト
- Towards Optimal Heterogeneous Client Sampling in Multi-Model Federated Learning [22.787635207005884]
フェデレーション学習により、エッジデバイスは、ローカルデータを共有せずに、協力的にモデルをトレーニングできる。
クライアントは複数の無関係なFLモデルをトレーニングする必要があるかもしれないが、通信制約はすべてのモデルを同時にトレーニングする能力を制限する。
本稿では,サーバにおける通信制限を明示的に尊重しつつ,トレーニングのばらつきを最小限に抑えた損失ベースサンプリング手法MMFL-LVRを提案する。
論文 参考訳(メタデータ) (2025-04-07T14:43:17Z) - Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。
我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。
実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
論文 参考訳(メタデータ) (2024-06-21T13:19:29Z) - Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
論文 参考訳(メタデータ) (2024-05-26T07:54:53Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。
深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-08-15T13:29:14Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z) - Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。
本稿では,クライアント側モデル同期を必要としないSFLについて検討する。
MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文 参考訳(メタデータ) (2021-09-19T22:57:23Z) - Achieving Model Fairness in Vertical Federated Learning [47.8598060954355]
垂直連合学習(VFL)は、複数の企業が重複しない機能を保有して、プライベートデータやモデルパラメータを開示することなく、機械学習モデルを強化することを可能にする。
VFLは公平性の問題に悩まされており、すなわち、学習されたモデルはセンシティブな属性を持つグループに対して不公平に差別的である可能性がある。
この問題に対処するための公平なVFLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-17T04:40:11Z) - PFL-MoE: Personalized Federated Learning Based on Mixture of Experts [1.8757823231879849]
フェデレーションラーニング(FL)は、データプライバシーを保護するために、トレーニングノード間のデータ共有を避けます。
PFL-MoEは一般的なアプローチであり、既存のPFLアルゴリズムを統合することでインスタンス化することができる。
本稿では,Fashion-MNISTデータセット上でLeNet-5およびVGG-16モデルをトレーニングし,PFL-MoEの有効性を示す。
論文 参考訳(メタデータ) (2020-12-31T12:51:14Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2020-06-27T09:35:03Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳(メタデータ) (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。