Fugu-MT 論文翻訳(概要): FedAWARE: Maximizing Gradient Diversity for Heterogeneous Federated Server-side Optimization

論文の概要: FedAWARE: Maximizing Gradient Diversity for Heterogeneous Federated Server-side Optimization

arxiv url: http://arxiv.org/abs/2310.02702v3
Date: Fri, 24 May 2024 16:13:22 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 23:56:12.635963
Title: FedAWARE: Maximizing Gradient Diversity for Heterogeneous Federated Server-side Optimization
Title（参考訳）: FedAWARE: 異種フェデレーションサーバサイド最適化のためのグラディエント多様性の最大化
Authors: Dun Zeng, Zenglin Xu, Yu Pan, Qifan Wang, Xiaoying Tang,
Abstract要約: textscFedAWAREはプラグインモジュールとしてFLアルゴリズムのパフォーマンスを向上させることができる。 textscFedAWAREはプラグインモジュールとしてFLアルゴリズムのパフォーマンスを向上させることができる。
参考スコア（独自算出の注目度）: 37.743911787044475
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated learning (FL) is a distributed learning framework where numerous clients collaborate with a central server to train a model without sharing local data. However, the standard federated optimization in real-world applications faces both statistical and system heterogeneity challenges, which result in unfavorable convergence behavior. The previous works attempted to modify the local training process (client-side) to tackle heterogeneity challenges. However, they ignored that the updates on the server side can coordinate the diverse local updates efficiently. This work explores the effect of server-side updates against heterogeneity issues. We first introduce the gradient diversity maximization direction findings, suggesting the global model moves continuously in this direction for fast and stable convergence. Then, we derive a novel server-side optimizer \textsc{FedAWARE} with rigorous convergence analysis for general non-convex settings. Our extensive experiments across multiple heterogeneous federated settings using four datasets showcase that \textsc{FedAWARE} achieves competitive convergence performance in comparison to state-of-the-art adaptive federated optimizers. Furthermore, our results show that \textsc{FedAWARE} can enhance the performance of FL algorithms as a plug-in module. Our source code is available at \url{https://github.com/dunzeng/FedAWARE}.
Abstract（参考訳）: Federated Learning(FL)は、多くのクライアントが、ローカルデータを共有せずにモデルをトレーニングするために、中央サーバと協力する分散学習フレームワークである。しかし、実世界のアプリケーションにおける標準フェデレーション最適化は、統計的およびシステム不均一性の課題に直面するため、不都合な収束挙動をもたらす。以前の研究は、不均一性の問題に取り組むために、局所的なトレーニングプロセス(クライアント側)を変更しようとした。しかし、サーバ側の更新は多様なローカル更新を効率的に調整できる点を無視した。本研究は異種問題に対するサーバ側の更新の効果について検討する。まず、勾配の多様性の最大化方向の発見を導入し、この方向のグローバルモデルが高速で安定な収束のために連続的に動き続けることを示唆する。次に、一般的な非凸設定に対して厳密な収束解析を施したサーバサイドオプティマイザ \textsc{FedAWARE} を導出する。 4つのデータセットを用いて、多種多様なフェデレーション・セッティングの広範な実験を行い、最先端の適応フェデレーション・オプティマイザと比較して、 <textsc{FedAWARE} が競合収束性能を達成することを示した。さらに,<textsc{FedAWARE} はプラグインモジュールとしてFLアルゴリズムの性能を向上させることができることを示す。ソースコードは \url{https://github.com/dunzeng/FedAWARE} で公開されています。

関連論文リスト

FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Locally Adaptive Federated Learning [30.19411641685853]
フェデレートラーニング(Federated Learning)とは、複数のクライアントが中央サーバと協調してモデルを学習する分散機械学習のパラダイムである。 Federated Averaging (FedAvg)のような標準的なフェデレーション最適化手法は、クライアント間の一般化を保証する。本稿では,各クライアント関数の局所的幾何情報を利用する局所的フェデレーション学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-07-12T17:02:32Z)
Neural Collapse Inspired Federated Learning with Non-iid Data [31.576588815816095]
非独立かつ同一に分散された(非ID)特性は、ローカル更新に大きな違いをもたらし、中央サーバの性能に影響する。神経崩壊の現象にインスパイアされた私たちは、各クライアントを最適なグローバル構造に最適化するよう強制する。提案手法は, 異なるサイズのデータセット上での収束速度を高速化して, 性能を向上することができる。
論文参考訳（メタデータ） (2023-03-27T05:29:53Z)
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文参考訳（メタデータ） (2022-12-14T13:57:01Z)
Speeding up Heterogeneous Federated Learning with Sequentially Trained Superclients [19.496278017418113]
フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
論文参考訳（メタデータ） (2022-01-26T12:33:23Z)
Local Adaptivity in Federated Learning: Convergence and Consistency [25.293584783673413]
フェデレートラーニング(FL)フレームワークは、局所的に訓練されたモデルを定期的に集約することで、エッジクライアントデバイスに格納された分散データを使用して機械学習モデルをトレーニングする。局所適応法は収束を加速できるが, 解バイアスを生じさせる可能性があることを示す。本稿では,この不整合を克服し,FLの局所適応手法を補完する補正手法を提案する。
論文参考訳（メタデータ） (2021-06-04T07:36:59Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)
Adaptive Federated Optimization [43.78438670284309]
フェデレートラーニングでは、多数のクライアントが中央サーバとコーディネートして、自身のデータを共有せずにモデルを学習する。適応最適化手法は、このような問題に対処する際、顕著な成功を収めている。適応型学習は,フェデレート学習の性能を著しく向上させることができることを示す。
論文参考訳（メタデータ） (2020-02-29T16:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。