論文の概要: Fast-Convergent Federated Learning with Adaptive Weighting
- arxiv url: http://arxiv.org/abs/2012.00661v2
- Date: Tue, 6 Apr 2021 01:45:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-30 20:06:05.190662
- Title: Fast-Convergent Federated Learning with Adaptive Weighting
- Title（参考訳）: 適応重み付き高速収束フェデレーション学習
- Authors: Hongda Wu, Ping Wang
- Abstract要約: フェデレートラーニング(FL)は、リソース制約のあるエッジノードが、中央サーバのオーケストレーションの下でグローバルモデルを協調的に学習することを可能にする。
非IIDデータセットを持つノードの存在下でモデル収束を加速することを目的としたFederated Adaptive Weighting (FedAdp)アルゴリズムを提案する。
我々は、FedAdpを用いたFLトレーニングにより、MNISTデータセットで54.1%、FashionMNISTデータセットで45.4%の通信ラウンドを削減できることを示す。
- 参考スコア（独自算出の注目度）: 6.040848035935873
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated learning (FL) enables resource-constrained edge nodes to
collaboratively learn a global model under the orchestration of a central
server while keeping privacy-sensitive data locally. The
non-independent-and-identically-distributed (non-IID) data samples across
participating nodes slow model training and impose additional communication
rounds for FL to converge. In this paper, we propose Federated Adaptive
Weighting (FedAdp) algorithm that aims to accelerate model convergence under
the presence of nodes with non-IID dataset. We observe the implicit connection
between the node contribution to the global model aggregation and data
distribution on the local node through theoretical and empirical analysis. We
then propose to assign different weights for updating the global model based on
node contribution adaptively through each training round. The contribution of
participating nodes is first measured by the angle between the local gradient
vector and the global gradient vector, and then, weight is quantified by a
designed non-linear mapping function subsequently. The simple yet effective
strategy can reinforce positive (suppress negative) node contribution
dynamically, resulting in communication round reduction drastically. Its
superiority over the commonly adopted Federated Averaging (FedAvg) is verified
both theoretically and experimentally. With extensive experiments performed in
Pytorch and PySyft, we show that FL training with FedAdp can reduce the number
of communication rounds by up to 54.1% on MNIST dataset and up to 45.4% on
FashionMNIST dataset, as compared to FedAvg algorithm.
- Abstract（参考訳）: フェデレートラーニング(FL)は、リソース制約のあるエッジノードが、プライバシに敏感なデータをローカルに保持しながら、中央サーバのオーケストレーションの下でグローバルモデルを協調的に学習することを可能にする。
非独立および独立に分散された(非IID)データサンプルは、参加ノード間でモデルトレーニングを遅くし、FLが収束するための追加の通信ラウンドを課す。
本稿では,非iidデータセットを持つノードの存在下でのモデル収束を高速化するfederated adaptive weighting (fedadp)アルゴリズムを提案する。
理論的および経験的分析により,グローバルモデル集約へのノード寄与と局所ノード上のデータ分布との暗黙的な関係を観察する。
次に,各トレーニングラウンドを通じてノード寄与に基づくグローバルモデルを適応的に更新するための異なる重み付けを提案する。
参加ノードの寄与はまず局所勾配ベクトルと大域勾配ベクトルの間の角度で測定され、その後、設計された非線形写像関数によって重みを定量化する。
シンプルで効果的な戦略は、ポジティブな(ネガティブな)ノードの貢献を動的に強化し、コミュニケーションラウンドの削減を劇的に生み出す。
一般的に採用されているフェデレート平均化(FedAvg)よりも優れていることは理論的にも実験的にも検証されている。
PytorchとPySyftで実施された広範な実験により、FedAvgアルゴリズムと比較して、FedAdpを用いたFLトレーニングはMNISTデータセットで54.1%、FashionMNISTデータセットで45.4%の通信ラウンド数を削減できることを示した。
関連論文リスト
- FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning [8.576433180938004]
本稿では,新しいDFL集約アルゴリズムFederated Entropy Pooling (FedEP)を提案する。
FedEPは、実際のデータではなく、局所分布の統計特性を取り入れることで、クライアントのドリフト問題を緩和する。
実験により、FedEPは最先端のアプローチよりも早く収束し、高いテスト性能を示すことが示されている。
論文 参考訳（メタデータ） (2024-10-10T07:39:15Z) - Harnessing Increased Client Participation with Cohort-Parallel Federated Learning [2.9593087583214173]
Federated Learning(FL)は、ノードがグローバルモデルを協調的にトレーニングする機械学習アプローチである。
本稿では,Cohort-Parallel Federated Learning (CPFL)を紹介する。
4つのコホート、非IIDデータ分散、CIFAR-10を持つCPFLは、列車の時間短縮に1.9$times$、資源使用量削減に1.3$times$である。
論文 参考訳（メタデータ） (2024-05-24T15:34:09Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Federated Deep Equilibrium Learning: Harnessing Compact Global Representations to Enhance Personalization [23.340237814344377]
Federated Learning(FL)は、クライアントがデータを交換することなくグローバルモデルを協調的にトレーニングできる、画期的な分散学習パラダイムとして登場した。
FeDEQは,高効率なパーソナライズのために,コンパクトなグローバルデータ表現を利用するために,深い平衡学習とコンセンサス最適化を取り入れた新しいFLフレームワークである。
FeDEQは,訓練中の通信サイズを最大4倍,メモリフットプリントを1.5倍に削減しつつ,最先端のパーソナライズされたFL法の性能に適合することを示した。
論文 参考訳（メタデータ） (2023-09-27T13:48:12Z) - Distributed Learning over Networks with Graph-Attention-Based
Personalization [49.90052709285814]
分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。
特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。
グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
論文 参考訳（メタデータ） (2023-05-22T13:48:30Z) - Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。
グラフが現在の勾配を混合する能力を定量化する計量法を提案する。
そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
論文 参考訳（メタデータ） (2022-04-13T15:54:35Z) - Heterogeneous Federated Learning via Grouped Sequential-to-Parallel
Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。
本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。
その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文 参考訳（メタデータ） (2022-01-31T03:15:28Z) - Node Selection Toward Faster Convergence for Federated Learning on
Non-IID Data [6.040848035935873]
Federated Learning(FL)は、大量のリソース制限されたノードがデータ共有なしで協調的にモデルをトレーニングできる分散学習パラダイムである。
そこで本研究では,グローバルラウンド毎に各ノードの局所更新の最適部分集合を求めるため,最適アグリゲーションアルゴリズムを提案する。
また,各ノードが選択する確率を動的に変更するための確率的ノード選択フレームワーク (FedPNS) も提案した。
論文 参考訳（メタデータ） (2021-05-14T20:56:09Z) - Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。
提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
論文 参考訳（メタデータ） (2020-06-07T07:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。