Fugu-MT 論文翻訳(概要): Node Selection Toward Faster Convergence for Federated Learning on Non-IID Data

論文の概要: Node Selection Toward Faster Convergence for Federated Learning on Non-IID Data

arxiv url: http://arxiv.org/abs/2105.07066v1
Date: Fri, 14 May 2021 20:56:09 GMT
ステータス: 処理完了
システム内更新日: 2021-05-18 15:06:34.539068
Title: Node Selection Toward Faster Convergence for Federated Learning on Non-IID Data
Title（参考訳）: 非IIDデータのフェデレーション学習における高速収束に向けたノード選択
Authors: Hongda Wu, Ping Wang
Abstract要約: Federated Learning(FL)は、大量のリソース制限されたノードがデータ共有なしで協調的にモデルをトレーニングできる分散学習パラダイムである。そこで本研究では,グローバルラウンド毎に各ノードの局所更新の最適部分集合を求めるため,最適アグリゲーションアルゴリズムを提案する。また,各ノードが選択する確率を動的に変更するための確率的ノード選択フレームワーク (FedPNS) も提案した。
参考スコア（独自算出の注目度）: 6.040848035935873
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Federated Learning (FL) is a distributed learning paradigm that enables a large number of resource-limited nodes to collaboratively train a model without data sharing. The non-independent-and-identically-distributed (non-i.i.d.) data samples invoke discrepancy between global and local objectives, making the FL model slow to converge. In this paper, we proposed Optimal Aggregation algorithm for better aggregation, which finds out the optimal subset of local updates of participating nodes in each global round, by identifying and excluding the adverse local updates via checking the relationship between the local gradient and the global gradient. Then, we proposed a Probabilistic Node Selection framework (FedPNS) to dynamically change the probability for each node to be selected based on the output of Optimal Aggregation. FedPNS can preferentially select nodes that propel faster model convergence. The unbiasedness of the proposed FedPNS design is illustrated and the convergence rate improvement of FedPNS over the commonly adopted Federated Averaging (FedAvg) algorithm is analyzed theoretically. Experimental results demonstrate the effectiveness of FedPNS in accelerating the FL convergence rate, as compared to FedAvg with random node selection.
Abstract（参考訳）: Federated Learning(FL)は、大量のリソース制限されたノードがデータ共有なしで協調的にモデルをトレーニングできる分散学習パラダイムである。非独立・同一分布(非i.d.) データサンプルはグローバルとローカルの目的の相違を生じさせ、FLモデルを収束が遅くする。本稿では,各グローバルラウンドにおける各ノードの局所的更新の最適部分集合を,局所的勾配とグローバル的勾配の関係をチェックすることによって同定・排除することにより,より優れた集約のための最適集約アルゴリズムを提案する。そこで我々は,最適集約の出力に基づいて選択される各ノードの確率を動的に変化させる確率的ノード選択フレームワーク(FedPNS)を提案する。 FedPNSはより高速なモデル収束を促進するノードを優先的に選択できる。提案したFedPNS設計の非バイアス性を示し, 一般に採用されているFedAvgアルゴリズムに対するFedPNSの収束率改善を理論的に分析した。実験結果は,ランダムノード選択のfedavgと比較して,fl収束速度を加速するfedpnの有効性を示す。

関連論文リスト

FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning [8.576433180938004]
フェデレートラーニング(FL)における非独立分散(非IID)データは、クライアントの問題を引き起こす。既存のアプローチでは、この問題を中央サーバを使ってFLで緩和するが、Decentralized FL (DFL) は未調査のままである。本研究は,DFLにおける非IID課題を軽減するためのフェデレートエントロピープーリング(FedEP)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-10-10T07:39:15Z)
Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients [40.84399531998246]
Federated Learning (FL) は、通信ネットワークシステムにおける分散機械学習フレームワークである。非独立分散(Non-IID)データは、大域モデルの収束効率に悪影響を及ぼす。 FLモデルの収束を加速するために,局所勾配の有利な群を選別するBHerd戦略を提案する。
論文参考訳（メタデータ） (2024-03-25T09:16:59Z)
Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
論文参考訳（メタデータ） (2024-03-05T17:49:09Z)
FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文参考訳（メタデータ） (2023-10-04T21:11:40Z)
FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
論文参考訳（メタデータ） (2023-05-08T18:21:41Z)
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文参考訳（メタデータ） (2022-12-14T13:57:01Z)
Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文参考訳（メタデータ） (2022-06-14T13:12:12Z)
Fast-Convergent Federated Learning with Adaptive Weighting [6.040848035935873]
フェデレートラーニング(FL)は、リソース制約のあるエッジノードが、中央サーバのオーケストレーションの下でグローバルモデルを協調的に学習することを可能にする。非IIDデータセットを持つノードの存在下でモデル収束を加速することを目的としたFederated Adaptive Weighting (FedAdp)アルゴリズムを提案する。我々は、FedAdpを用いたFLトレーニングにより、MNISTデータセットで54.1%、FashionMNISTデータセットで45.4%の通信ラウンドを削減できることを示す。
論文参考訳（メタデータ） (2020-12-01T17:35:05Z)
Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文参考訳（メタデータ） (2020-07-15T05:01:23Z)
Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
論文参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。