論文の概要: Sharp Bounds for Sequential Federated Learning on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2405.01142v2
• Date: Wed, 23 Apr 2025 14:38:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:51.737836
• Title: Sharp Bounds for Sequential Federated Learning on Heterogeneous Data
• Title（参考訳）: 不均一データに基づく逐次フェデレーション学習のためのシャープ境界
• Authors: Yipeng Li, Xinchen Lyu,
• Abstract要約: フェデレートラーニング(FL)では、モデルはクライアント間で並列にトレーニングされ、シーケンシャルFL(SFL)モデルはクライアント間でシーケンシャルにトレーニングされる。 PFLとは対照的に、SFLデータの収束理論はまだ不足している。 我々は,上界と下界の2つの不均一なデータに対して,SFLの鋭い収束保証を確立する。
• 参考スコア（独自算出の注目度）: 5.872735527071425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are two paradigms in Federated Learning (FL): parallel FL (PFL), where models are trained in a parallel manner across clients, and sequential FL (SFL), where models are trained in a sequential manner across clients. Specifically, in PFL, clients perform local updates independently and send the updated model parameters to a global server for aggregation; in SFL, one client starts its local updates only after receiving the model parameters from the previous client in the sequence. In contrast to that of PFL, the convergence theory of SFL on heterogeneous data is still lacking. To resolve the theoretical dilemma of SFL, we establish sharp convergence guarantees for SFL on heterogeneous data with both upper and lower bounds. Specifically, we derive the upper bounds for the strongly convex, general convex and non-convex objective functions, and construct the matching lower bounds for the strongly convex and general convex objective functions. Then, we compare the upper bounds of SFL with those of PFL, showing that SFL outperforms PFL on heterogeneous data (at least, when the level of heterogeneity is relatively high). Experimental results validate the counterintuitive theoretical finding.
• Abstract（参考訳）: フェデレートラーニング(FL)には2つのパラダイムがある: 並列FL(PFL)、モデルがクライアント間で並列にトレーニングされ、シーケンシャルFL(SFL)、そしてモデルがクライアント間でシーケンシャルにトレーニングされる。 具体的には、PFLでは、クライアントが独立してローカル更新を行い、更新されたモデルパラメータをグローバルサーバに送信する。 PFLとは対照的に、不均一データ上のSFLの収束理論はいまだに欠如している。 SFLの理論的ジレンマを解決するために、上界と下界の双方を持つ不均一なデータに対して、SFLの鋭い収束保証を確立する。 具体的には、強凸関数、一般凸関数、非凸関数の上限を導出し、強凸関数と一般凸関数の一致する下界を構築する。 次に、SFLの上限値とPFLの上限値を比較し、SFLが不均一なデータ上でPFLより優れていることを示す(少なくとも、不均一性のレベルが比較的高い場合)。 実験結果は、反直観的理論的発見を検証した。

関連論文リスト

• SemiDFL: A Semi-Supervised Paradigm for Decentralized Federated Learning [12.542161138042632]
  分散連合学習(DFL)は,中央サーバに頼らずに,接続されたクライアント間の協調モデルトレーニングを実現する。 DFLに関する既存の作業の多くは、各クライアントがローカルトレーニングに十分なラベル付きデータを持っていることを前提として、教師付き学習に重点を置いている。 そこで本研究では,データ空間とモデル空間のコンセンサスを確立することで,SSLシナリオにおけるDFL性能を向上させる,最初の半教師付きDFL手法であるSemiDFLを提案する。
  論文  参考訳（メタデータ） (2024-12-18T08:12:55Z)
• FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion [48.90879664138855]
  ワンショットフェデレートラーニング(OFL)は、訓練されたモデルを1回だけ集約することで、FLにおける通信コストを大幅に削減する。 しかし、高度なOFL法の性能は通常のFLよりもはるかに遅れている。 本稿では,FuseFL と呼ばれる,高い性能と低通信・ストレージコストを有する新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T09:07:10Z)
• Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
  実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。 そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
  論文  参考訳（メタデータ） (2024-08-19T07:43:35Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Convergence Analysis of Split Federated Learning on Heterogeneous Data [10.61370409320618]
  Split Learning(SFL)は、複数のクライアント間で協調的なモデルトレーニングを行うための、最近の分散アプローチである。 SFLでは、グローバルモデルは通常2つの部分に分割され、クライアントは1つの部分を並行的に訓練し、もう一方は他方を訓練する。 本研究では,SFLの収束解析を行い,不均一なデータに対する凸性および汎用性について述べる。
  論文  参考訳（メタデータ） (2024-02-23T07:59:23Z)
• Convergence Analysis of Sequential Federated Learning on Heterogeneous Data [5.872735527071425]
  連立学習(FL)では、複数のクライアント間で共同トレーニングを行う方法が2つある:i)並列FL(PFL)、i)クライアントが並列にモデルを訓練するFL(SFL)、i)クライアントが逐次的にモデルを訓練するFL(SFL)である。 本稿では,不均一なデータに対するSFLの収束保証がまだ不十分であることを示す。 実験により,SFLはデバイス間設定において極めて不均一なデータ上でPFLより優れることを示した。
  論文  参考訳（メタデータ） (2023-11-06T14:48:51Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Improving the Model Consistency of Decentralized Federated Learning [68.2795379609854]
  フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。 既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。 DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
  論文  参考訳（メタデータ） (2023-02-08T14:37:34Z)
• pFL-Bench: A Comprehensive Benchmark for Personalized Federated Learning [42.819532536636835]
  そこで我々は,pFL ベンチマーク pFL-Bench を提案し,迅速な再現性,標準化,徹底的な pFL 評価を行った。 提案するベンチマークには、統一されたデータパーティションと現実的な異種設定を備えた、多様なアプリケーションドメインの10以上のデータセットが含まれている。 我々は、最先端のpFL手法の利点と可能性を強調し、pFL-BenchがさらなるpFL研究と幅広い応用を可能にすることを期待する。
  論文  参考訳（メタデータ） (2022-06-08T02:51:59Z)
• Desirable Companion for Vertical Federated Learning: New Zeroth-Order Gradient Based Algorithm [140.25480610981504]
  VFLアルゴリズムを評価するための指標の完全なリストには、モデル適用性、プライバシ、通信、計算効率が含まれるべきである。 ブラックボックスのスケーラビリティを備えた新しいVFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-19T13:55:47Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。