論文の概要: Sharp Bounds for Sequential Federated Learning on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2405.01142v1
• Date: Thu, 2 May 2024 09:58:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 17:04:04.931059
• Title: Sharp Bounds for Sequential Federated Learning on Heterogeneous Data
• Title（参考訳）: 不均一データに基づく逐次フェデレーション学習のためのシャープ境界
• Authors: Yipeng Li, Xinchen Lyu,
• Abstract要約: 学習にはパラレルFL(PFL)とシーケンシャルFL(SFL)の2つのパラダイムがある。 PFLとは対照的に、収束理論 SFL のデータはまだ不足している。 強凸, 一般凸, 逐次非直観的目的関数の上限を導出する。 上界SFLと不均一PFLデータとの比較を行った。
• 参考スコア（独自算出の注目度）: 5.872735527071425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are two paradigms in Federated Learning (FL): parallel FL (PFL), where models are trained in a parallel manner across clients; and sequential FL (SFL), where models are trained in a sequential manner across clients. In contrast to that of PFL, the convergence theory of SFL on heterogeneous data is still lacking. To resolve the theoretical dilemma of SFL, we establish sharp convergence guarantees for SFL on heterogeneous data with both upper and lower bounds. Specifically, we derive the upper bounds for strongly convex, general convex and non-convex objective functions, and construct the matching lower bounds for the strongly convex and general convex objective functions. Then, we compare the upper bounds of SFL with those of PFL, showing that SFL outperforms PFL (at least, when the level of heterogeneity is relatively high). Experimental results on quadratic functions and real data sets validate the counterintuitive comparison result.
• Abstract（参考訳）: フェデレートラーニング(FL)には2つのパラダイムがある: 並列FL(PFL)、モデルがクライアント間で並列にトレーニングされ、シーケンシャルFL(SFL)、そしてモデルがクライアント間でシーケンシャルにトレーニングされる。 PFLとは対照的に、不均一データ上のSFLの収束理論はいまだに欠如している。 SFLの理論的ジレンマを解決するために、上界と下界の双方を持つ不均一なデータに対して、SFLの鋭い収束保証を確立する。 具体的には、強凸関数、一般凸関数、非凸関数の上限を導出し、強凸関数と一般凸関数の一致する下界を構築する。 次に、SFLの上界とPFLの限界を比較し、SFLがPFLより優れていることを示す(少なくとも、不均一性のレベルが比較的高い場合)。 2次関数と実データセットの実験結果は、直観的比較結果を検証する。

関連論文リスト

• FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion [48.90879664138855]
  ワンショットフェデレートラーニング(OFL)は、訓練されたモデルを1回だけ集約することで、FLにおける通信コストを大幅に削減する。 しかし、高度なOFL法の性能は通常のFLよりもはるかに遅れている。 本稿では,FuseFL と呼ばれる,高い性能と低通信・ストレージコストを有する新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T09:07:10Z)
• Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
  実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。 そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
  論文  参考訳（メタデータ） (2024-08-19T07:43:35Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Convergence Analysis of Split Federated Learning on Heterogeneous Data [10.61370409320618]
  Split Learning(SFL)は、複数のクライアント間で協調的なモデルトレーニングを行うための、最近の分散アプローチである。 SFLでは、グローバルモデルは通常2つの部分に分割され、クライアントは1つの部分を並行的に訓練し、もう一方は他方を訓練する。 本研究では,SFLの収束解析を行い,不均一なデータに対する凸性および汎用性について述べる。
  論文  参考訳（メタデータ） (2024-02-23T07:59:23Z)
• Convergence Analysis of Sequential Federated Learning on Heterogeneous Data [5.872735527071425]
  連立学習(FL)では、複数のクライアント間で共同トレーニングを行う方法が2つある:i)並列FL(PFL)、i)クライアントが並列にモデルを訓練するFL(SFL)、i)クライアントが逐次的にモデルを訓練するFL(SFL)である。 本稿では,不均一なデータに対するSFLの収束保証がまだ不十分であることを示す。 実験により,SFLはデバイス間設定において極めて不均一なデータ上でPFLより優れることを示した。
  論文  参考訳（メタデータ） (2023-11-06T14:48:51Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Improving the Model Consistency of Decentralized Federated Learning [68.2795379609854]
  フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。 既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。 DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
  論文  参考訳（メタデータ） (2023-02-08T14:37:34Z)
• pFL-Bench: A Comprehensive Benchmark for Personalized Federated Learning [42.819532536636835]
  そこで我々は,pFL ベンチマーク pFL-Bench を提案し,迅速な再現性,標準化,徹底的な pFL 評価を行った。 提案するベンチマークには、統一されたデータパーティションと現実的な異種設定を備えた、多様なアプリケーションドメインの10以上のデータセットが含まれている。 我々は、最先端のpFL手法の利点と可能性を強調し、pFL-BenchがさらなるpFL研究と幅広い応用を可能にすることを期待する。
  論文  参考訳（メタデータ） (2022-06-08T02:51:59Z)
• Desirable Companion for Vertical Federated Learning: New Zeroth-Order Gradient Based Algorithm [140.25480610981504]
  VFLアルゴリズムを評価するための指標の完全なリストには、モデル適用性、プライバシ、通信、計算効率が含まれるべきである。 ブラックボックスのスケーラビリティを備えた新しいVFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-19T13:55:47Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。