論文の概要: Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees

• arxiv url: http://arxiv.org/abs/2402.03448v2
• Date: Fri, 31 May 2024 20:36:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 19:03:18.293151
• Title: Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees
• Title（参考訳）: Decentralized Sporadic Federated Learning: 収束保証を備えた統一アルゴリズムフレームワーク
• Authors: Shahryar Zehtabi, Dong-Jun Han, Rohit Parasnis, Seyyedali Hosseinalipour, Christopher G. Brinton,
• Abstract要約: 分散分散学習(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方をクライアントが中央サーバなしで実行するFL設定をキャプチャする。 DSpodFLは、さまざまなシステム設定下でのベースラインと比較して、一貫して速度を達成している。
• 参考スコア（独自算出の注目度）: 18.24213566328972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decentralized federated learning (DFL) captures FL settings where both (i) model updates and (ii) model aggregations are exclusively carried out by the clients without a central server. Existing DFL works have mostly focused on settings where clients conduct a fixed number of local updates between local model exchanges, overlooking heterogeneity and dynamics in communication and computation capabilities. In this work, we propose Decentralized Sporadic Federated Learning (DSpodFL), a DFL methodology built on a generalized notion of sporadicity in both local gradient and aggregation processes. DSpodFL subsumes many existing decentralized optimization methods under a unified algorithmic framework by modeling the per-iteration (i) occurrence of gradient descent at each client and (ii) exchange of models between client pairs as arbitrary indicator random variables, thus capturing heterogeneous and time-varying computation/communication scenarios. We analytically characterize the convergence behavior of DSpodFL for both convex and non-convex models, for both constant and diminishing learning rates, under mild assumptions on the communication graph connectivity, data heterogeneity across clients, and gradient noises, and show how our bounds recover existing results as special cases. Experiments demonstrate that DSpodFL consistently achieves improved training speeds compared with baselines under various system settings.
• Abstract（参考訳）: 分散連合学習(DFL)はFL設定をキャプチャする (i)モデル更新 (ii)モデルアグリゲーションは、中央サーバーなしでクライアントによってのみ実行される。 既存のDFLの作業は、クライアントがローカルモデル交換間で一定の数のローカル更新を行うような設定に主に焦点を合わせており、通信や計算能力の異質性や動的性を見渡している。 本研究では,局所勾配と凝集過程の両方において散発性の概念を一般化したDFL手法である分散散発的フェデレーションラーニング(DSpodFL)を提案する。 DSpodFLは、各項目のモデル化により、統一的なアルゴリズムフレームワークの下で、多くの既存の分散最適化手法を仮定する 一 顧客ごとの勾配降下の発生及び 二 クライアントペア間のモデルを任意の指標確率変数として交換することにより、不均一および時間変化の計算/通信シナリオをキャプチャする。 コンベックスモデルと非凸モデルの両方に対するDSpodFLの収束挙動を,通信グラフ接続性,クライアント間のデータ不均一性,勾配雑音といった軽微な仮定の下で解析的に解析し,既存の結果を特殊ケースとして再現する方法を示す。 DSpodFLは、さまざまなシステム設定下でのベースラインと比較して、トレーニング速度の改善を一貫して達成している。

関連論文リスト

• Pursuing Overall Welfare in Federated Learning through Sequential Decision Making [10.377683220196873]
  従来のフェデレートラーニングでは、単一のグローバルモデルはすべてのクライアントに対して等しく機能することができない。 我々の研究は、既存の公正を意識したアグリゲーション戦略をオンライン凸最適化フレームワークに統合できることを明らかにした。 AAggFFは、両方の実践的な設定において、既存のメソッドよりもクライアントレベルの公平性が高い。
  論文  参考訳（メタデータ） (2024-05-31T14:15:44Z)
• Decentralized Directed Collaboration for Personalized Federated Learning [39.29794569421094]
  我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。 我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:52:19Z)
• FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
  フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。 我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。 我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
  論文  参考訳（メタデータ） (2024-05-27T15:25:32Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Federated Adversarial Learning: A Framework with Convergence Analysis [28.136498729360504]
  フェデレートラーニング(Federated Learning、FL)は、分散トレーニングデータを活用するためのトレンドトレーニングパラダイムである。 FLは、クライアントがいくつかのエポックでモデルパラメータをローカルに更新し、アグリゲーションのためのグローバルモデルと共有することを可能にする。 このトレーニングパラダイムは、アグリゲーションの前に複数のローカルステップを更新することで、敵の攻撃に対してユニークな脆弱性を露呈する。
  論文  参考訳（メタデータ） (2022-08-07T04:17:34Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)
• On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning [15.300983585090794]
  任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。 特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。 コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
  論文  参考訳（メタデータ） (2022-01-27T20:43:38Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。