論文の概要: Decentralized Sporadic Federated Learning: A Unified Methodology with
Generalized Convergence Guarantees
- arxiv url: http://arxiv.org/abs/2402.03448v1
- Date: Mon, 5 Feb 2024 19:02:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 18:09:53.174287
- Title: Decentralized Sporadic Federated Learning: A Unified Methodology with
Generalized Convergence Guarantees
- Title（参考訳）: 分散散発的フェデレーション学習:一般化収束保証を伴う統一方法論
- Authors: Shahryar Zehtabi, Dong-Jun Han, Rohit Parasnis, Seyyedali
Hosseinalipour, Christopher G. Brinton
- Abstract要約: 両プロセスに散発性の概念を一般化したDFL手法である分散散発的フェデレートラーニング(texttDSpodFL$)を提案する。
我々は$textttDSpodFL$の収束挙動を解析的に特徴づけ、幾何収束率を有限の最適性ギャップに一致させることができることを示す。
- 参考スコア（独自算出の注目度）: 19.571001440750234
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decentralized Federated Learning (DFL) has received significant recent
research attention, capturing settings where both model updates and model
aggregations -- the two key FL processes -- are conducted by the clients. In
this work, we propose Decentralized Sporadic Federated Learning
($\texttt{DSpodFL}$), a DFL methodology which generalizes the notion of
sporadicity in both of these processes, modeling the impact of different forms
of heterogeneity that manifest in realistic DFL settings. $\texttt{DSpodFL}$
unifies many of the prominent decentralized optimization methods, e.g.,
distributed gradient descent (DGD), randomized gossip (RG), and decentralized
federated averaging (DFedAvg), under a single modeling framework. We
analytically characterize the convergence behavior of $\texttt{DSpodFL}$,
showing, among other insights, that we can match a geometric convergence rate
to a finite optimality gap under more general assumptions than in existing
works. Through experiments, we demonstrate that $\texttt{DSpodFL}$ achieves
significantly improved training speeds and robustness to variations in system
parameters compared to the state-of-the-art.
- Abstract（参考訳）: 分散連合学習(dfl)は近年、クライアントがモデル更新とモデル集約の両方を行うという、重要な研究の注目を集めている。
本研究では,両プロセスにおける散発性の概念を一般化し,現実的なDFL設定で表される異質性の異なる形態の影響をモデル化するDFL方法論である分散散発的フェデレートラーニング(Decentralized Sporadic Federated Learning)(\textt{DSpodFL}$)を提案する。
$\texttt{DSpodFL}$は、分散勾配降下(DGD)、ランダム化ゴシップ(RG)、分散化フェデレーション平均化(DFedAvg)など、主要な分散最適化手法の多くを単一のモデリングフレームワークで統合する。
我々は $\texttt{DSpodFL}$ の収束挙動を解析的に特徴づけ、幾何収束率を既存の研究よりも一般的な仮定の下で有限最適性ギャップに一致させることができることを示す。
実験により、$\texttt{DSpodFL}$は、最先端技術と比較して、システムのパラメータの変化に対するトレーニング速度とロバスト性を大幅に改善することを示した。
関連論文リスト
- Pursuing Overall Welfare in Federated Learning through Sequential Decision Making [10.377683220196873]
従来のフェデレートラーニングでは、単一のグローバルモデルはすべてのクライアントに対して等しく機能することができない。
我々の研究は、既存の公正を意識したアグリゲーション戦略をオンライン凸最適化フレームワークに統合できることを明らかにした。
AAggFFは、両方の実践的な設定において、既存のメソッドよりもクライアントレベルの公平性が高い。
論文 参考訳（メタデータ） (2024-05-31T14:15:44Z) - Decentralized Directed Collaboration for Personalized Federated Learning [39.29794569421094]
我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。
我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-28T06:52:19Z) - FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。
我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。
我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
論文 参考訳（メタデータ） (2024-05-27T15:25:32Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳（メタデータ） (2023-08-16T11:22:36Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Federated Adversarial Learning: A Framework with Convergence Analysis [28.136498729360504]
フェデレートラーニング(Federated Learning、FL)は、分散トレーニングデータを活用するためのトレンドトレーニングパラダイムである。
FLは、クライアントがいくつかのエポックでモデルパラメータをローカルに更新し、アグリゲーションのためのグローバルモデルと共有することを可能にする。
このトレーニングパラダイムは、アグリゲーションの前に複数のローカルステップを更新することで、敵の攻撃に対してユニークな脆弱性を露呈する。
論文 参考訳（メタデータ） (2022-08-07T04:17:34Z) - $\texttt{FedBC}$: Calibrating Global and Local Models via Federated
Learning Beyond Consensus [66.62731854746856]
フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。
本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。
私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
論文 参考訳（メタデータ） (2022-06-22T02:42:04Z) - On the Convergence of Heterogeneous Federated Learning with Arbitrary
Adaptive Online Model Pruning [15.300983585090794]
任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。
特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。
コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
論文 参考訳（メタデータ） (2022-01-27T20:43:38Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。