論文の概要: On the Convergence of Heterogeneous Federated Learning with Arbitrary
Adaptive Online Model Pruning
- arxiv url: http://arxiv.org/abs/2201.11803v1
- Date: Thu, 27 Jan 2022 20:43:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-31 16:08:27.705428
- Title: On the Convergence of Heterogeneous Federated Learning with Arbitrary
Adaptive Online Model Pruning
- Title(参考訳): 任意適応型オンラインモデルpruningを用いたヘテロジニアスフェデレーション学習の収束について
- Authors: Hanhan Zhou, Tian Lan, Guru Venkataramani, Wenbo Ding
- Abstract要約: 任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。
特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。
コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
- 参考スコア(独自算出の注目度): 15.300983585090794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the biggest challenges in Federated Learning (FL) is that client
devices often have drastically different computation and communication
resources for local updates. To this end, recent research efforts have focused
on training heterogeneous local models obtained by pruning a shared global
model. Despite empirical success, theoretical guarantees on convergence remain
an open question. In this paper, we present a unifying framework for
heterogeneous FL algorithms with {\em arbitrary} adaptive online model pruning
and provide a general convergence analysis. In particular, we prove that under
certain sufficient conditions and on both IID and non-IID data, these
algorithms converges to a stationary point of standard FL for general smooth
cost functions, with a convergence rate of $O(\frac{1}{\sqrt{Q}})$. Moreover,
we illuminate two key factors impacting convergence: pruning-induced noise and
minimum coverage index, advocating a joint design of local pruning masks for
efficient training.
- Abstract(参考訳): フェデレートラーニング(FL)における最大の課題の1つは、クライアントデバイスがローカル更新のための計算リソースと通信リソースが大幅に異なることである。
この目的のために、近年の研究は、共有グローバルモデルを用いて得られた異種局所モデルの訓練に重点を置いている。
経験的な成功にもかかわらず、収束に関する理論的保証は未解決のままである。
本稿では, 適応型オンラインモデルプルーニングを用いた不均一FLアルゴリズムの一元化フレームワークを提案し, 一般収束解析を行う。
特に、ある十分な条件下では、IIDおよび非IIDデータの両方で、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束し、収束率は$O(\frac{1}{\sqrt{Q}})$である。
さらに, 収束に影響を与える2つの要因として, プルーニング誘導ノイズと最小カバレッジ指数を照らし, 局所プルーニングマスクの共同設計を提唱した。
関連論文リスト
- Privacy-preserving Federated Primal-dual Learning for Non-convex and
Non-smooth Problems with Model Sparsification [54.767648945613004]
フェデレートラーニング(FL)は急速に成長している分野として認識されている。
パラメータの非平滑性と非共有性は、FLアプリケーションで一般的である。
論文 参考訳(メタデータ) (2023-10-30T14:15:47Z) - Every Parameter Matters: Ensuring the Convergence of Federated Learning
with Dynamic Heterogeneous Models Reduction [22.567754688492414]
クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。
近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。
本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
論文 参考訳(メタデータ) (2023-10-12T19:07:58Z) - On the Convergence of Federated Averaging under Partial Participation
for Over-parameterized Neural Networks [13.950558331060838]
フェデレートラーニング(FL)は、ローカルデータを共有せずに複数のクライアントから機械学習モデルを協調的に作成するための分散パラダイムである。
本稿では,FedAvgが世界規模で世界規模で収束していることを示す。
論文 参考訳(メタデータ) (2023-10-09T07:56:56Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳(メタデータ) (2023-08-16T11:22:36Z) - FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。
本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。
ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
論文 参考訳(メタデータ) (2023-05-08T18:21:41Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳(メタデータ) (2022-06-14T13:12:12Z) - Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる
地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。
提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
論文 参考訳(メタデータ) (2021-12-28T18:13:09Z) - Convergence Rates of Average-Reward Multi-agent Reinforcement Learning
via Randomized Linear Programming [41.30044824711509]
我々は,グローバル報酬が地域報酬の総和であり,共同政策がエージェントの限界と州全体の可観測性に分解される場合に焦点を当てる。
エージェントが局所的なサドル点問題を解き、局所的な重み付き平均化を行うマルチエージェント拡張を開発する。
準グロブリー最適解を得るためのサンプルの複雑さは、状態空間と作用空間の濃度に対する厳密な依存と一致することを確かめる。
論文 参考訳(メタデータ) (2021-10-22T03:48:41Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳(メタデータ) (2020-05-22T23:07:42Z) - A Unified Theory of Decentralized SGD with Changing Topology and Local
Updates [70.9701218475002]
分散通信方式の統一収束解析を導入する。
いくつかの応用に対して普遍収束率を導出する。
私たちの証明は弱い仮定に依存している。
論文 参考訳(メタデータ) (2020-03-23T17:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。