論文の概要: Towards Optimal Heterogeneous Client Sampling in Multi-Model Federated Learning
- arxiv url: http://arxiv.org/abs/2504.05138v1
- Date: Mon, 07 Apr 2025 14:43:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-08 14:09:09.306535
- Title: Towards Optimal Heterogeneous Client Sampling in Multi-Model Federated Learning
- Title（参考訳）: 多モデルフェデレーション学習における最適不均一クライアントサンプリングに向けて
- Authors: Haoran Zhang, Zejun Gong, Zekai Li, Marie Siew, Carlee Joe-Wong, Rachid El-Azouzi,
- Abstract要約: フェデレーション学習により、エッジデバイスは、ローカルデータを共有せずに、協力的にモデルをトレーニングできる。
クライアントは複数の無関係なFLモデルをトレーニングする必要があるかもしれないが、通信制約はすべてのモデルを同時にトレーニングする能力を制限する。
本稿では,サーバにおける通信制限を明示的に尊重しつつ,トレーニングのばらつきを最小限に抑えた損失ベースサンプリング手法MMFL-LVRを提案する。
- 参考スコア（独自算出の注目度）: 22.787635207005884
- License:
- Abstract: Federated learning (FL) allows edge devices to collaboratively train models without sharing local data. As FL gains popularity, clients may need to train multiple unrelated FL models, but communication constraints limit their ability to train all models simultaneously. While clients could train FL models sequentially, opportunistically having FL clients concurrently train different models -- termed multi-model federated learning (MMFL) -- can reduce the overall training time. Prior work uses simple client-to-model assignments that do not optimize the contribution of each client to each model over the course of its training. Prior work on single-model FL shows that intelligent client selection can greatly accelerate convergence, but na\"ive extensions to MMFL can violate heterogeneous resource constraints at both the server and the clients. In this work, we develop a novel convergence analysis of MMFL with arbitrary client sampling methods, theoretically demonstrating the strengths and limitations of previous well-established gradient-based methods. Motivated by this analysis, we propose MMFL-LVR, a loss-based sampling method that minimizes training variance while explicitly respecting communication limits at the server and reducing computational costs at the clients. We extend this to MMFL-StaleVR, which incorporates stale updates for improved efficiency and stability, and MMFL-StaleVRE, a lightweight variant suitable for low-overhead deployment. Experiments show our methods improve average accuracy by up to 19.1% over random sampling, with only a 5.4% gap from the theoretical optimum (full client participation).
- Abstract（参考訳）: フェデレートラーニング(FL)は、エッジデバイスがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。
FLの人気が高まるにつれて、クライアントは複数の無関係なFLモデルを訓練する必要があるかもしれないが、通信制限は全てのモデルを同時に訓練する能力を制限する。
クライアントはFLモデルをシーケンシャルにトレーニングできるが、FLクライアントが同時に、MMFL(Multi-model Federated Learning)と呼ばれる異なるモデルをトレーニングすることで、全体的なトレーニング時間を短縮することができる。
以前の作業では、トレーニングの過程で各モデルに対する各クライアントのコントリビューションを最適化しない、単純なクライアントからモデルへの割り当てが使われていました。
シングルモデルFLに関する以前の研究は、インテリジェントなクライアント選択が収束を大幅に加速できることを示しているが、MMFLに対するna\"ive拡張は、サーバとクライアントの両方の不均一なリソース制約に違反する可能性がある。
本研究では,任意のクライアントサンプリング手法を用いたMMFLの新たな収束解析法を開発し,従来のグラデーションベース手法の長所と短所を理論的に実証する。
この分析により,サーバにおける通信制限を明示的に尊重し,クライアントの計算コストを低減しつつ,トレーニングの分散を最小限に抑える,損失ベースのサンプリング手法MMFL-LVRを提案する。
我々はこれを、効率と安定性を向上させるための古いアップデートを組み込んだMMFL-StaleVRと、低オーバーヘッド展開に適した軽量版であるMMFL-StaleVREに拡張する。
実験の結果,提案手法の精度はランダムサンプリングよりも19.1%向上し,理論的最適条件(フルクライアント参加)から5.4%の差しかみられなかった。
関連論文リスト
- Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳（メタデータ） (2025-01-17T04:00:50Z) - Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。
OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文 参考訳（メタデータ） (2025-01-06T21:16:51Z) - Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。
我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。
実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-21T13:19:29Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Client Selection for Generalization in Accelerated Federated Learning: A
Multi-Armed Bandit Approach [20.300740276237523]
フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。
FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-03-18T09:45:58Z) - FedCliP: Federated Learning with Client Pruning [3.796320380104124]
フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。
FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。
マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
論文 参考訳（メタデータ） (2023-01-17T09:15:37Z) - Latency Aware Semi-synchronous Client Selection and Model Aggregation
for Wireless Federated Learning [0.6882042556551609]
Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。
従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。
本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
論文 参考訳（メタデータ） (2022-10-19T05:59:22Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳（メタデータ） (2021-08-23T15:47:53Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。