Fugu-MT 論文翻訳(概要): Tackling the Non-IID Issue in Heterogeneous Federated Learning by Gradient Harmonization

論文の概要: Tackling the Non-IID Issue in Heterogeneous Federated Learning by Gradient Harmonization

arxiv url: http://arxiv.org/abs/2309.06692v2
Date: Thu, 7 Mar 2024 14:57:19 GMT
ステータス: 処理完了
システム内更新日: 2024-03-08 17:55:59.781825
Title: Tackling the Non-IID Issue in Heterogeneous Federated Learning by Gradient Harmonization
Title（参考訳）: 勾配調和によるヘテロジニアスフェデレート学習における非iid問題への取り組み
Authors: Xinyu Zhang, Weiyu Sun, Ying Chen
Abstract要約: フェデレートラーニング(Federated Learning, FL)は、分散クライアントからグローバルモデルを協調的にトレーニングするための、プライバシ保護パラダイムである。本研究では、サーバ側の勾配競合のレンズを通して、この重要な課題を再考する。グラディエント・ハーモニゼーションによる局所ドリフトを緩和する簡易かつ効果的なFedGHを提案する。
参考スコア（独自算出の注目度）: 11.484136481586381
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) is a privacy-preserving paradigm for collaboratively training a global model from decentralized clients. However, the performance of FL is hindered by non-independent and identically distributed (non-IID) data and device heterogeneity. In this work, we revisit this key challenge through the lens of gradient conflicts on the server side. Specifically, we first investigate the gradient conflict phenomenon among multiple clients and reveal that stronger heterogeneity leads to more severe gradient conflicts. To tackle this issue, we propose FedGH, a simple yet effective method that mitigates local drifts through Gradient Harmonization. This technique projects one gradient vector onto the orthogonal plane of the other within conflicting client pairs. Extensive experiments demonstrate that FedGH consistently enhances multiple state-of-the-art FL baselines across diverse benchmarks and non-IID scenarios. Notably, FedGH yields more significant improvements in scenarios with stronger heterogeneity. As a plug-and-play module, FedGH can be seamlessly integrated into any FL framework without requiring hyperparameter tuning.
Abstract（参考訳）: フェデレートラーニング(Federated Learning, FL)は、分散クライアントからグローバルモデルを協調的にトレーニングするための、プライバシ保護パラダイムである。しかし、FLの性能は非独立で同一の(非IID)データとデバイスの不均一性によって妨げられる。本研究では、サーバ側の勾配競合のレンズを通して、この重要な課題を再考する。具体的には,複数のクライアント間の勾配競合現象を最初に検討し,より強固な不均一性がより重度の勾配衝突を引き起こすことを明らかにした。この問題に対処するため,グラディエント・ハーモニゼーションによる局所ドリフトを緩和する簡易かつ効果的なFedGHを提案する。この手法は、一方の勾配ベクトルを、矛盾するクライアントペア内の他方の直交平面に投影する。大規模な実験により、FedGHは様々なベンチマークと非IIDシナリオで複数の最先端のFLベースラインを一貫して強化することを示した。特に、FedGHはより強い不均一性を持つシナリオにおいて、より顕著な改善をもたらす。プラグアンドプレイモジュールとして、FedGHはハイパーパラメータチューニングを必要とせずに任意のFLフレームワークにシームレスに統合できる。

関連論文リスト

Towards Layer-Wise Personalized Federated Learning: Adaptive Layer Disentanglement via Conflicting Gradients [11.269920973751244]
パーソナライズされたフェデレートラーニング(pFL)では、高データの異質性はデバイス間で大きな勾配のばらつきを引き起こす可能性がある。グラディエント・アナリティクス(FedLAG)によるレイヤワイド・アグリゲーションを用いたフェデレート・ラーニング(Federated Learning)という,pFL設計への新たなアプローチを導入する。 FedLAGはレイヤーワイド勾配競合の程度に基づいて、パーソナライズのためのレイヤを割り当てる。
論文参考訳（メタデータ） (2024-10-03T14:46:19Z)
Hierarchical Federated Learning with Multi-Timescale Gradient Correction [24.713834338757195]
本稿では,この問題を解決するためにMTGC法を提案する。私たちのキーとなる考え方は、(i)グループ勾配のクライアント勾配を補正する、すなわち、個々のデータセットに基づいたローカル更新によるクライアントモデルのドリフトを減らすために、異なる制御を導入することです。
論文参考訳（メタデータ） (2024-09-27T05:10:05Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文参考訳（メタデータ） (2024-02-10T18:14:57Z)
Take History as a Mirror in Heterogeneous Federated Learning [9.187993085263209]
フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。 FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
論文参考訳（メタデータ） (2023-12-16T11:40:49Z)
Enabling Quartile-based Estimated-Mean Gradient Aggregation As Baseline for Federated Image Classifications [5.5099914877576985]
Federated Learning(FL)は、機密データを保護し、モデルパフォーマンスを改善しながら、分散コラボレーションを可能にすることによって、ディープニューラルネットワークのトレーニング方法に革命をもたらした。本稿では,これらの課題に対処するだけでなく,FLシステムにおける高度な集約技術に対して$mathsfbaseline$として基本的な参照ポイントを提供する,Estimated Mean Aggregation (EMA) という革新的なソリューションを紹介する。
論文参考訳（メタデータ） (2023-09-21T17:17:28Z)
GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文参考訳（メタデータ） (2023-08-09T04:34:21Z)
FedRC: Tackling Diverse Distribution Shifts Challenge in Federated Learning by Robust Clustering [4.489171618387544]
Federated Learning(FL)は、エッジデバイス上でクライアントデータを保持することによって、プライバシを保護する機械学習パラダイムである。本稿では,多様な分布シフトの同時発生による学習課題を特定する。提案するクラスタリングの原理に従う新しいクラスタリングアルゴリズムフレームワークであるFedRCを提案する。
論文参考訳（メタデータ） (2023-01-29T06:50:45Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文参考訳（メタデータ） (2022-10-14T08:11:34Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。