論文の概要: Federated Learning with Dynamic Client Arrival and Departure: Convergence and Rapid Adaptation via Initial Model Construction
- arxiv url: http://arxiv.org/abs/2410.05662v1
- Date: Tue, 8 Oct 2024 03:22:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 17:19:21.116712
- Title: Federated Learning with Dynamic Client Arrival and Departure: Convergence and Rapid Adaptation via Initial Model Construction
- Title（参考訳）: 動的クライアント予約と分割によるフェデレーション学習:初期モデル構築による収束と迅速な適応
- Authors: Zhan-Lun Chang, Dong-Jun Han, Rohit Parasnis, Seyyedali Hosseinalipour, Christopher G. Brinton,
- Abstract要約: 連合学習システムでは、クライアントは特定のタスクに対するニーズや関心に応じて、システムを離れたり、参加したりすることができる。
本稿では、現在アクティブなクライアントのセットに合わせて最適なモデルを求めるFLの動的最適化目標について考察する。
提案手法は様々なデータセットとFLアルゴリズムで検証され、多様なクライアントの到着パターンと出発パターンにまたがる堅牢な性能を示す。
- 参考スコア（独自算出の注目度）: 19.5843103442292
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While most existing federated learning (FL) approaches assume a fixed set of clients in the system, in practice, clients can dynamically leave or join the system depending on their needs or interest in the specific task. This dynamic FL setting introduces several key challenges: (1) the objective function dynamically changes depending on the current set of clients, unlike traditional FL approaches that maintain a static optimization goal; (2) the current global model may not serve as the best initial point for the next FL rounds and could potentially lead to slow adaptation, given the possibility of clients leaving or joining the system. In this paper, we consider a dynamic optimization objective in FL that seeks the optimal model tailored to the currently active set of clients. Building on our probabilistic framework that provides direct insights into how the arrival and departure of different types of clients influence the shifts in optimal points, we establish an upper bound on the optimality gap, accounting for factors such as stochastic gradient noise, local training iterations, non-IIDness of data distribution, and deviations between optimal points caused by dynamic client pattern. We also propose an adaptive initial model construction strategy that employs weighted averaging guided by gradient similarity, prioritizing models trained on clients whose data characteristics align closely with the current one, thereby enhancing adaptability to the current clients. The proposed approach is validated on various datasets and FL algorithms, demonstrating robust performance across diverse client arrival and departure patterns, underscoring its effectiveness in dynamic FL environments.
- Abstract（参考訳）: ほとんどの既存の統合学習(FL)アプローチは、システム内の固定されたクライアントセットを前提としていますが、実際には、クライアントは特定のタスクに対するニーズや関心に応じて、動的にシステムを離れたり、参加したりすることができます。
静的最適化目標を維持する従来のFLアプローチとは異なり、目的関数は現在のクライアントのセットによって動的に変化する。 2) 現在のグローバルモデルは次のFLラウンドで最高の初期点として機能せず、クライアントがシステムを離れたり入社したりする可能性を考えると、適応が遅くなる可能性がある。
本稿では、現在アクティブなクライアントのセットに合わせて最適なモデルを求めるFLの動的最適化目標について考察する。
様々なタイプのクライアントの到着と出発が最適な点のシフトにどのように影響するかを直接的に把握する確率的枠組みに基づいて、確率的勾配ノイズ、局所的なトレーニングイテレーション、データ分散の非IID性、動的クライアントパターンによる最適点間の偏差などの要因を考慮し、最適性ギャップの上限を確立する。
また、勾配の類似性によって導かれる重み付き平均化を利用して、データ特性が現在のクライアントと密接に一致しているクライアント上で訓練されたモデルの優先順位付けを行い、現在のクライアントへの適応性を向上する適応型初期モデル構築戦略を提案する。
提案手法は様々なデータセットとFLアルゴリズムで検証され、多様なクライアントの到着パターンと出発パターンにまたがる堅牢な性能を実証し、動的FL環境での有効性を実証する。
関連論文リスト
- FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。
我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。
我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文 参考訳（メタデータ） (2024-05-20T06:12:33Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - PraFFL: A Preference-Aware Scheme in Fair Federated Learning [5.9403570178003395]
フェアフェデレーション学習パラダイム( PraFFL と呼ばれる)における優先度認識方式を提案する。
理論的には、PrafFLは各クライアントの任意の好みに合わせて最適なモデルを提供し、その線形収束を示すことができる。
論文 参考訳（メタデータ） (2024-04-13T11:40:05Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - Addressing Membership Inference Attack in Federated Learning with Model Compression [8.842172558292027]
機械学習のプライバシ保護ソリューションとしてフェデレートラーニング(FL)が提案されている。
最近の研究によると、FLはメンバーシップ推論攻撃によってプライベートクライアントデータを漏洩させることができる。
これらの攻撃の有効性は、クライアントのデータセットのサイズとモデルの複雑さと負の相関関係があることを示します。
論文 参考訳（メタデータ） (2023-11-29T15:54:15Z) - Utilizing Free Clients in Federated Learning for Focused Model
Enhancement [9.370655190768163]
Federated Learning(FL)は、分散機械学習のアプローチで、分散化された異種データのモデルを学ぶ。
我々はこの課題に対処するためにFedALIGN(Federated Adaptive Learning with Inclusion of Global Needs)を提案する。
論文 参考訳（メタデータ） (2023-10-06T18:23:40Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳（メタデータ） (2023-06-14T15:47:52Z) - Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-21T20:12:27Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Adaptive Control of Client Selection and Gradient Compression for
Efficient Federated Learning [28.185096784982544]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。
我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。
実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
論文 参考訳（メタデータ） (2022-12-19T14:19:07Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。