論文の概要: Node Selection Toward Faster Convergence for Federated Learning on
Non-IID Data
- arxiv url: http://arxiv.org/abs/2105.07066v1
- Date: Fri, 14 May 2021 20:56:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-18 15:06:34.539068
- Title: Node Selection Toward Faster Convergence for Federated Learning on
Non-IID Data
- Title(参考訳): 非IIDデータのフェデレーション学習における高速収束に向けたノード選択
- Authors: Hongda Wu, Ping Wang
- Abstract要約: Federated Learning(FL)は、大量のリソース制限されたノードがデータ共有なしで協調的にモデルをトレーニングできる分散学習パラダイムである。
そこで本研究では,グローバルラウンド毎に各ノードの局所更新の最適部分集合を求めるため,最適アグリゲーションアルゴリズムを提案する。
また,各ノードが選択する確率を動的に変更するための確率的ノード選択フレームワーク (FedPNS) も提案した。
- 参考スコア(独自算出の注目度): 6.040848035935873
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated Learning (FL) is a distributed learning paradigm that enables a
large number of resource-limited nodes to collaboratively train a model without
data sharing. The non-independent-and-identically-distributed (non-i.i.d.) data
samples invoke discrepancy between global and local objectives, making the FL
model slow to converge. In this paper, we proposed Optimal Aggregation
algorithm for better aggregation, which finds out the optimal subset of local
updates of participating nodes in each global round, by identifying and
excluding the adverse local updates via checking the relationship between the
local gradient and the global gradient. Then, we proposed a Probabilistic Node
Selection framework (FedPNS) to dynamically change the probability for each
node to be selected based on the output of Optimal Aggregation. FedPNS can
preferentially select nodes that propel faster model convergence. The
unbiasedness of the proposed FedPNS design is illustrated and the convergence
rate improvement of FedPNS over the commonly adopted Federated Averaging
(FedAvg) algorithm is analyzed theoretically. Experimental results demonstrate
the effectiveness of FedPNS in accelerating the FL convergence rate, as
compared to FedAvg with random node selection.
- Abstract(参考訳): Federated Learning(FL)は、大量のリソース制限されたノードがデータ共有なしで協調的にモデルをトレーニングできる分散学習パラダイムである。
非独立・同一分布(非i.d.)
データサンプルはグローバルとローカルの目的の相違を生じさせ、FLモデルを収束が遅くする。
本稿では,各グローバルラウンドにおける各ノードの局所的更新の最適部分集合を,局所的勾配とグローバル的勾配の関係をチェックすることによって同定・排除することにより,より優れた集約のための最適集約アルゴリズムを提案する。
そこで我々は,最適集約の出力に基づいて選択される各ノードの確率を動的に変化させる確率的ノード選択フレームワーク(FedPNS)を提案する。
FedPNSはより高速なモデル収束を促進するノードを優先的に選択できる。
提案したFedPNS設計の非バイアス性を示し, 一般に採用されているFedAvgアルゴリズムに対するFedPNSの収束率改善を理論的に分析した。
実験結果は,ランダムノード選択のfedavgと比較して,fl収束速度を加速するfedpnの有効性を示す。
関連論文リスト
- Rethinking Clustered Federated Learning in NOMA Enhanced Wireless
Networks [60.09912912343705]
本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。
データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。
非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
論文 参考訳(メタデータ) (2024-03-05T17:49:09Z) - FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。
我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文 参考訳(メタデータ) (2023-10-04T21:11:40Z) - Reinforcement Learning for Node Selection in Branch-and-Bound [58.740509566888676]
現在の最先端セレクタは手作りのアンサンブルを使用して、ナイーブなサブノードセレクタと、個々のノードデータに依存する学習ノードセレクタを自動的に切り替える。
本稿では,木全体の状態を考慮した強化学習(RL)を用いた2次元シミュレーション手法を提案する。
論文 参考訳(メタデータ) (2023-09-29T19:55:56Z) - FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。
本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。
ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
論文 参考訳(メタデータ) (2023-05-08T18:21:41Z) - Why Batch Normalization Damage Federated Learning on Non-IID Data? [34.06900591666005]
フェデレートラーニング(FL)では、エッジクライアントのプライバシを保護しながら、ネットワークエッジでディープニューラルネットワーク(DNN)モデルをトレーニングする。
バッチ正規化(BN)は、訓練を加速し、能力一般化を改善するためのシンプルで効果的な手段とみなされてきた。
最近の研究では、BNは非i.d.データの存在下でFLの性能を著しく損なうことが示されている。
非i.d.データの下で、BNの局所的および大域的統計パラメータ間のミスマッチが局所的および大域的モデル間の勾配ずれを引き起こすことを示す最初の収束解析を提示する。
論文 参考訳(メタデータ) (2023-01-08T05:24:12Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2022-12-14T13:57:01Z) - Depersonalized Federated Learning: Tackling Statistical Heterogeneity by
Alternating Stochastic Gradient Descent [6.394263208820851]
フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。
様々な共役者によって保持される生データは、常に不特定に分散される。
本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
論文 参考訳(メタデータ) (2022-10-07T10:30:39Z) - Fast-Convergent Federated Learning with Adaptive Weighting [6.040848035935873]
フェデレートラーニング(FL)は、リソース制約のあるエッジノードが、中央サーバのオーケストレーションの下でグローバルモデルを協調的に学習することを可能にする。
非IIDデータセットを持つノードの存在下でモデル収束を加速することを目的としたFederated Adaptive Weighting (FedAdp)アルゴリズムを提案する。
我々は、FedAdpを用いたFLトレーニングにより、MNISTデータセットで54.1%、FashionMNISTデータセットで45.4%の通信ラウンドを削減できることを示す。
論文 参考訳(メタデータ) (2020-12-01T17:35:05Z) - Tackling the Objective Inconsistency Problem in Heterogeneous Federated
Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。
我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文 参考訳(メタデータ) (2020-07-15T05:01:23Z) - Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。
提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
論文 参考訳(メタデータ) (2020-06-07T07:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。