論文の概要: Federated Learning with Dynamic Client Arrival and Departure: Convergence and Rapid Adaptation via Initial Model Construction
- arxiv url: http://arxiv.org/abs/2410.05662v1
- Date: Tue, 8 Oct 2024 03:22:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 17:19:21.116712
- Title: Federated Learning with Dynamic Client Arrival and Departure: Convergence and Rapid Adaptation via Initial Model Construction
- Title（参考訳）: 動的クライアント予約と分割によるフェデレーション学習:初期モデル構築による収束と迅速な適応
- Authors: Zhan-Lun Chang, Dong-Jun Han, Rohit Parasnis, Seyyedali Hosseinalipour, Christopher G. Brinton,
- Abstract要約: 連合学習システムでは、クライアントは特定のタスクに対するニーズや関心に応じて、システムを離れたり、参加したりすることができる。
本稿では、現在アクティブなクライアントのセットに合わせて最適なモデルを求めるFLの動的最適化目標について考察する。
提案手法は様々なデータセットとFLアルゴリズムで検証され、多様なクライアントの到着パターンと出発パターンにまたがる堅牢な性能を示す。
- 参考スコア（独自算出の注目度）: 19.5843103442292
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While most existing federated learning (FL) approaches assume a fixed set of clients in the system, in practice, clients can dynamically leave or join the system depending on their needs or interest in the specific task. This dynamic FL setting introduces several key challenges: (1) the objective function dynamically changes depending on the current set of clients, unlike traditional FL approaches that maintain a static optimization goal; (2) the current global model may not serve as the best initial point for the next FL rounds and could potentially lead to slow adaptation, given the possibility of clients leaving or joining the system. In this paper, we consider a dynamic optimization objective in FL that seeks the optimal model tailored to the currently active set of clients. Building on our probabilistic framework that provides direct insights into how the arrival and departure of different types of clients influence the shifts in optimal points, we establish an upper bound on the optimality gap, accounting for factors such as stochastic gradient noise, local training iterations, non-IIDness of data distribution, and deviations between optimal points caused by dynamic client pattern. We also propose an adaptive initial model construction strategy that employs weighted averaging guided by gradient similarity, prioritizing models trained on clients whose data characteristics align closely with the current one, thereby enhancing adaptability to the current clients. The proposed approach is validated on various datasets and FL algorithms, demonstrating robust performance across diverse client arrival and departure patterns, underscoring its effectiveness in dynamic FL environments.
- Abstract（参考訳）: ほとんどの既存の統合学習(FL)アプローチは、システム内の固定されたクライアントセットを前提としていますが、実際には、クライアントは特定のタスクに対するニーズや関心に応じて、動的にシステムを離れたり、参加したりすることができます。
静的最適化目標を維持する従来のFLアプローチとは異なり、目的関数は現在のクライアントのセットによって動的に変化する。 2) 現在のグローバルモデルは次のFLラウンドで最高の初期点として機能せず、クライアントがシステムを離れたり入社したりする可能性を考えると、適応が遅くなる可能性がある。
本稿では、現在アクティブなクライアントのセットに合わせて最適なモデルを求めるFLの動的最適化目標について考察する。
様々なタイプのクライアントの到着と出発が最適な点のシフトにどのように影響するかを直接的に把握する確率的枠組みに基づいて、確率的勾配ノイズ、局所的なトレーニングイテレーション、データ分散の非IID性、動的クライアントパターンによる最適点間の偏差などの要因を考慮し、最適性ギャップの上限を確立する。
また、勾配の類似性によって導かれる重み付き平均化を利用して、データ特性が現在のクライアントと密接に一致しているクライアント上で訓練されたモデルの優先順位付けを行い、現在のクライアントへの適応性を向上する適応型初期モデル構築戦略を提案する。
提案手法は様々なデータセットとFLアルゴリズムで検証され、多様なクライアントの到着パターンと出発パターンにまたがる堅牢な性能を実証し、動的FL環境での有効性を実証する。
関連論文リスト
- Towards Seamless Hierarchical Federated Learning under Intermittent Client Participation: A Stagewise Decision-Making Methodology [31.571298699019255]
Hierarchical Federated Learning (HFL)は、クライアントを複数のクラスタにまとめ、中間モデルアグリゲーションにエッジノードを使用する。
HFLに関する現在の研究は主に、安定した固定されたクライアントセットを持つシナリオにおけるモデル精度、レイテンシ、エネルギー消費の向上に焦点を当てている。
本研究は, 断続的クライアント参加下でのHFLにおけるクライアント選択とクライアント間アソシエーションの最適化について検討する。
論文 参考訳（メタデータ） (2025-02-13T13:16:10Z) - Feasible Learning [78.6167929413604]
本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。
大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
論文 参考訳（メタデータ） (2025-01-24T20:39:38Z) - Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳（メタデータ） (2025-01-17T04:00:50Z) - Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。
OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文 参考訳（メタデータ） (2025-01-06T21:16:51Z) - Incentive-Compatible Federated Learning with Stackelberg Game Modeling [11.863770989724959]
適応ガンマベースのStackelbergゲームに基づく新しいフェデレートラーニングフレームワークであるFLammaを紹介する。
当社のアプローチでは、サーバがリーダとして機能し、動的に崩壊要因を調整し、クライアントはフォロワーとして、その効用を最大化するローカルエポックの数を最適に選択します。
時間が経つにつれて、サーバはクライアントの影響を徐々にバランスさせ、最初は高いコントリビューションのクライアントに報酬を与え、その影響を徐々にレベルアップさせ、システムをStackelberg Equilibriumに誘導する。
論文 参考訳（メタデータ） (2025-01-05T21:04:41Z) - FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。
我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。
我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文 参考訳（メタデータ） (2024-05-20T06:12:33Z) - Utilizing Free Clients in Federated Learning for Focused Model
Enhancement [9.370655190768163]
Federated Learning(FL)は、分散機械学習のアプローチで、分散化された異種データのモデルを学ぶ。
我々はこの課題に対処するためにFedALIGN(Federated Adaptive Learning with Inclusion of Global Needs)を提案する。
論文 参考訳（メタデータ） (2023-10-06T18:23:40Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳（メタデータ） (2023-06-14T15:47:52Z) - Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-21T20:12:27Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。