論文の概要: Convergence Analysis of Sequential Federated Learning on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2311.03154v1
• Date: Mon, 6 Nov 2023 14:48:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 13:57:15.556653
• Title: Convergence Analysis of Sequential Federated Learning on Heterogeneous Data
• Title（参考訳）: 不均一データを用いた逐次連合学習の収束解析
• Authors: Yipeng Li and Xinchen Lyu
• Abstract要約: 連立学習(FL)では、複数のクライアント間で共同トレーニングを行う方法が2つある:i)並列FL(PFL)、i)クライアントが並列にモデルを訓練するFL(SFL)、i)クライアントが逐次的にモデルを訓練するFL(SFL)である。 本稿では,不均一なデータに対するSFLの収束保証がまだ不十分であることを示す。 実験により,SFLはデバイス間設定において極めて不均一なデータ上でPFLより優れることを示した。
• 参考スコア（独自算出の注目度）: 6.937859054591121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are two categories of methods in Federated Learning (FL) for joint training across multiple clients: i) parallel FL (PFL), where clients train models in a parallel manner; and ii) sequential FL (SFL), where clients train models in a sequential manner. In contrast to that of PFL, the convergence theory of SFL on heterogeneous data is still lacking. In this paper, we establish the convergence guarantees of SFL for strongly/general/non-convex objectives on heterogeneous data. The convergence guarantees of SFL are better than that of PFL on heterogeneous data with both full and partial client participation. Experimental results validate the counterintuitive analysis result that SFL outperforms PFL on extremely heterogeneous data in cross-device settings.
• Abstract（参考訳）: 複数のクライアント間で共同トレーニングを行うための、連合学習(federated learning:fl)には、2つのカテゴリがある。 一 クライアントが並列にモデルを訓練するパラレルFL(PFL) ii)シーケンシャルFL(SFL)では、クライアントがシーケンシャルな方法でモデルをトレーニングする。 PFLとは対照的に、不均一データ上のSFLの収束理論はいまだに欠如している。 本稿では,異種データに対する強/一般/非凸目標に対するsflの収束保証を確立する。 SFLの収束保証は、完全かつ部分的なクライアント参加を伴う異種データのPFLよりも優れている。 実験により,SFLはデバイス間設定において極めて不均一なデータ上でPFLより優れることを示した。

関連論文リスト

• FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion [48.90879664138855]
  ワンショットフェデレートラーニング(OFL)は、訓練されたモデルを1回だけ集約することで、FLにおける通信コストを大幅に削減する。 しかし、高度なOFL法の性能は通常のFLよりもはるかに遅れている。 本稿では,FuseFL と呼ばれる,高い性能と低通信・ストレージコストを有する新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T09:07:10Z)
• Sharp Bounds for Sequential Federated Learning on Heterogeneous Data [5.872735527071425]
  学習にはパラレルFL(PFL)とシーケンシャルFL(SFL)の2つのパラダイムがある。 PFLとは対照的に、収束理論 SFL のデータはまだ不足している。 強凸, 一般凸, 逐次非直観的目的関数の上限を導出する。 上界SFLと不均一PFLデータとの比較を行った。
  論文  参考訳（メタデータ） (2024-05-02T09:58:49Z)
• Convergence Analysis of Split Federated Learning on Heterogeneous Data [10.61370409320618]
  Split Learning(SFL)は、複数のクライアント間で協調的なモデルトレーニングを行うための、最近の分散アプローチである。 SFLでは、グローバルモデルは通常2つの部分に分割され、クライアントは1つの部分を並行的に訓練し、もう一方は他方を訓練する。 本研究では,SFLの収束解析を行い,不均一なデータに対する凸性および汎用性について述べる。
  論文  参考訳（メタデータ） (2024-02-23T07:59:23Z)
• MergeSFL: Split Federated Learning with Feature Merging and Batch Size Regulation [27.159538773609917]
  フェデレートラーニング(Federated Learning, FL)は、エッジコンピューティング(EC)システムにおいて、エッジAIが貴重な知識をマイニングするための技術である。 本稿では,機能統合とバッチサイズ制御をSFLに組み込んだ新しいSFLフレームワークMergeSFLを提案する。 我々は,MergeSFLが最終モデルの精度を5.82%から26.22%向上し,ベースラインに比べて約1.74倍から4.14倍のスピードアップが可能であることを示した。
  論文  参考訳（メタデータ） (2023-11-22T12:25:02Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks [88.50555581186799]
  我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。 我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。 PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
  論文  参考訳（メタデータ） (2022-09-27T02:12:43Z)
• pFL-Bench: A Comprehensive Benchmark for Personalized Federated Learning [42.819532536636835]
  そこで我々は,pFL ベンチマーク pFL-Bench を提案し,迅速な再現性,標準化,徹底的な pFL 評価を行った。 提案するベンチマークには、統一されたデータパーティションと現実的な異種設定を備えた、多様なアプリケーションドメインの10以上のデータセットが含まれている。 我々は、最先端のpFL手法の利点と可能性を強調し、pFL-BenchがさらなるpFL研究と幅広い応用を可能にすることを期待する。
  論文  参考訳（メタデータ） (2022-06-08T02:51:59Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。