論文の概要: FedSEA: Achieving Benefit of Parallelization in Federated Online Learning
- arxiv url: http://arxiv.org/abs/2604.19336v1
- Date: Tue, 21 Apr 2026 11:12:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.733548
- Title: FedSEA: Achieving Benefit of Parallelization in Federated Online Learning
- Title(参考訳): FedSEA:フェデレートオンライン学習における並列化のメリットを達成する
- Authors: Harekrushna Sahu, Pratik Jawanpuria, Pranay Sharma,
- Abstract要約: オンラインフェデレーションラーニング(OFL)は、継続的データストリームよりも分散的な意思決定のための一般的なフレームワークとして登場した。
本稿では,aally extended adversary (SEA)を統合することにより,OFLパラダイムを拡張した。
本稿では,クライアントのオンライン勾配降下とサーバ経由のグローバルアグリゲーションを利用したalgoOFLアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 10.311593763899829
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online federated learning (OFL) has emerged as a popular framework for decentralized decision-making over continuous data streams without compromising client privacy. However, the adversary model assumed in standard OFL typically precludes any potential benefits of parallelization. Further, it fails to adequately capture the different sources of statistical variation in OFL problems. In this paper, we extend the OFL paradigm by integrating a stochastically extended adversary (SEA). Under this framework, the loss function remains fixed across clients over time. However, the adversary dynamically and independently selects the data distribution for each client at each time. We propose the \algoOFL{} algorithm to solve this problem, which utilizes online stochastic gradient descent at the clients, along with periodic global aggregation via the server. We establish bounds on the global network regret over a time horizon \(T\) for two classes of functions: (1) for smooth and convex losses, we prove an \(\mathcal{O}(\sqrt{T})\) bound, and (2) for smooth and strongly convex losses, we prove an \(\mathcal{O}(\log T)\) bound. Through careful analysis, we quantify the individual impact of both spatial (across clients) and temporal (over time) data heterogeneity on the regret bounds. Consequently, we identify a regime of mild temporal variation (relative to stochastic gradient variance), where the network regret improves with parallelization. Hence, in the SEA setting, our results improve the existing pessimistic worst-case results in online federated learning.
- Abstract(参考訳): オンラインフェデレーション学習(OFL)は、クライアントのプライバシを損なうことなく、継続的データストリームよりも分散化された意思決定のための一般的なフレームワークとして登場した。
しかし、標準 OFL で仮定される逆モデルは典型的には並列化の潜在的な利点を妨げている。
さらに、OFL問題における異なる統計的変化源を適切に捉えることができない。
本稿では,確率的に拡張された逆数(SEA)を統合することにより,OFLパラダイムを拡張した。
このフレームワークでは、損失関数は時間とともにクライアント間で固定される。
しかし、敵は各クライアント毎のデータ配信を動的かつ独立に選択する。
本稿では, クライアントのオンライン確率勾配勾配と, サーバ経由の周期的グローバルアグリゲーションを利用して, この問題を解決するアルゴリズムを提案する。
1)滑らかで凸な損失に対して \(\mathcal{O}(\sqrt{T})\) が有界であること、(2)滑らかで強凸な損失に対しては \(\mathcal{O}(\log T)\) が有界であること、である。
注意深い分析により、空間的(全クライアント)と時間的(時間外)データの不均一性の両方が後悔境界に与える影響を定量化する。
その結果,ネットワークの遅延が並列化によって改善する,軽度時間変動(確率的勾配変動)の機構を同定した。
したがって、SEA設定では、オンライン・フェデレーション学習における既存の悲観的な最悪の結果を改善することができる。
関連論文リスト
- Asynchronous Federated Learning with non-convex client objective functions and heterogeneous dataset [0.9208007322096533]
Tosampling Federated Learning (FL)は、不安定なデータのプライバシを保持しながら、分散デバイス間のコラボレーティブモデルを可能にする。
非同期学習(AFL)は、クライアントが独立して更新できるようにし、スケーラビリティを改善し、同期を遅くすることで、これらの問題に対処する。
我々のフレームワークは、データパワー、分散、通信のバリエーションに対応しており、現実世界のアプリケーションに実用的です。
論文 参考訳(メタデータ) (2025-08-03T09:06:42Z) - Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。
我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文 参考訳(メタデータ) (2025-05-29T19:59:18Z) - Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations [35.58487905412915]
異種システムのための時間駆動型SFL(T-SFL)フレームワークを提案する。
T-SFLの学習性能を評価するため,大域的損失関数の上限を提供する。
本研究では,所定のしきい値以下に反復回数が減少するクライアントから局所モデルを除去する識別モデル選択アルゴリズムを開発する。
論文 参考訳(メタデータ) (2024-05-11T11:55:26Z) - Client Orchestration and Cost-Efficient Joint Optimization for
NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。
提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-11-03T13:34:44Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Semi-Synchronous Personalized Federated Learning over Mobile Edge
Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。
我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。
PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文 参考訳(メタデータ) (2022-09-27T02:12:43Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。