Fugu-MT 論文翻訳(概要): FedGroup: Efficient Clustered Federated Learning via Decomposed Data-Driven Measure

論文の概要: FedGroup: Efficient Clustered Federated Learning via Decomposed Data-Driven Measure

arxiv url: http://arxiv.org/abs/2010.06870v6
Date: Tue, 27 Jul 2021 06:53:49 GMT
ステータス: 処理完了
システム内更新日: 2022-10-07 14:22:19.814641
Title: FedGroup: Efficient Clustered Federated Learning via Decomposed Data-Driven Measure
Title（参考訳）: FedGroup: 分割データ駆動測定による効率的なクラスタ化されたフェデレーション学習
Authors: Moming Duan, Duo Liu, Xinyuan Ji, Renping Liu, Liang Liang, Xianzhang Chen, Yujuan Tan
Abstract要約: 本稿では,新しいクラスタ型フェデレーション学習(CFL)フレームワークであるFedGroupを提案する。 FEMNISTではFedAvgに比べて絶対テスト精度が+14.1%向上することが示された。また、いくつかのオープンデータセット上でFedGroupとFedGrouProx(FedProxと組み合わせた)を評価します。
参考スコア（独自算出の注目度）: 18.083188787905083
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Learning (FL) enables the multiple participating devices to collaboratively contribute to a global neural network model while keeping the training data locally. Unlike the centralized training setting, the non-IID and imbalanced (statistical heterogeneity) training data of FL is distributed in the federated network, which will increase the divergences between the local models and global model, further degrading performance. In this paper, we propose a novel clustered federated learning (CFL) framework FedGroup, in which we 1) group the training of clients based on the similarities between the clients' optimization directions for high training performance; 2) construct a new data-driven distance measure to improve the efficiency of the client clustering procedure. 3) implement a newcomer device cold start mechanism based on the auxiliary global model for framework scalability and practicality. FedGroup can achieve improvements by dividing joint optimization into groups of sub-optimization and can be combined with FL optimizer FedProx. The convergence and complexity are analyzed to demonstrate the efficiency of our proposed framework. We also evaluate FedGroup and FedGrouProx (combined with FedProx) on several open datasets and made comparisons with related CFL frameworks. The results show that FedGroup can significantly improve absolute test accuracy by +14.1% on FEMNIST compared to FedAvg. +3.4% on Sentiment140 compared to FedProx, +6.9% on MNIST compared to FeSEM.
Abstract（参考訳）: フェデレーション学習(fl)は、複数の参加者デバイスが、トレーニングデータをローカルに保持しながら、グローバルなニューラルネットワークモデルに協力的に貢献できるようにする。集中型トレーニング設定とは異なり、FLの非IIDおよび非バランスな(統計的不均一性)トレーニングデータはフェデレートネットワークに分散され、局所モデルとグローバルモデルとの差異が増大し、さらなる性能が低下する。本稿では,新しいクラスタ型フェデレーション学習(CFL)フレームワークであるFedGroupを提案する。 1) 高い訓練性能のためのクライアントの最適化方向の類似性に基づくクライアントの訓練をグループ化すること。 2)クライアントクラスタリング手順の効率を改善するために,新たなデータ駆動距離尺度を構築する。 3)フレームワークのスケーラビリティと実用性のための補助グローバルモデルに基づく新参装置コールドスタート機構の実装。 FedGroupは、共同最適化をサブ最適化のグループに分割することで改善を実現し、FLオプティマイザのFedProxと組み合わせることができる。提案するフレームワークの効率性を示すために,収束度と複雑性を分析した。また、FedGroupとFedGrouProx(FedProxと組み合わせた)をいくつかのオープンデータセットで評価し、関連するCFLフレームワークと比較した。その結果、FedAvgと比較してFedGroupはFEMNISTの絶対テスト精度を+14.1%向上できることがわかった。センチメント140は+3.4%、feedproxは+6.9%、fesemは+6.9%だった。

関連論文リスト

An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Leveraging Function Space Aggregation for Federated Learning at Scale [20.866482460590973]
クライアントが学習した関数に対する局所近似を集約するアルゴリズムであるFedFishを提案する。我々はFedFishを、現実的で大規模なクロスデバイスベンチマークで評価する。
論文参考訳（メタデータ） (2023-11-17T02:37:10Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
FedCME: Client Matching and Classifier Exchanging to Handle Data Heterogeneity in Federated Learning [5.21877373352943]
クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
論文参考訳（メタデータ） (2023-07-17T15:40:45Z)
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文参考訳（メタデータ） (2022-12-14T13:57:01Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文参考訳（メタデータ） (2022-06-21T17:23:06Z)
Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文参考訳（メタデータ） (2022-01-31T03:15:28Z)
Flexible Clustered Federated Learning for Client-Level Data Distribution Shift [13.759582953827229]
フレキシブルクラスタ型連合学習(CFL)フレームワークFlexCFLを提案する。 FEMNISTではFedAvgに比べて,FlexCFLでは絶対テスト精度が+10.6%向上することが示された。また、いくつかのオープンデータセット上でFlexCFLを評価し、関連するCFLフレームワークと比較した。
論文参考訳（メタデータ） (2021-08-22T15:11:39Z)
FedSAE: A Novel Self-Adaptive Federated Learning Framework in Heterogeneous Systems [14.242716751043533]
Federated Learning(FL)は、何千ものエッジデバイスがデータをサーバに同心的にアップロードすることなく、ローカルにモデルをトレーニングできる、新しい分散機械学習である。我々は、デバイスの自動トレーニングタスクを調整する新しい自己適応型フェデレーションフレームワークFedSAEを導入し、参加者を積極的に選択してパフォーマンス劣化を緩和する。このフレームワークでは、サーバは、トレーニング損失に基づいて、デバイスのトレーニング値を評価する。その後、サーバは、通信のオーバーヘッドを減らすために、グローバルモデルにより大きな価値を持つクライアントを選択する。
論文参考訳（メタデータ） (2021-04-15T15:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。