Fugu-MT 論文翻訳(概要): FedAWARE: Maximizing Gradient Diversity for Heterogeneous Federated Server-side Optimization

論文の概要: FedAWARE: Maximizing Gradient Diversity for Heterogeneous Federated Server-side Optimization

arxiv url: http://arxiv.org/abs/2310.02702v3
Date: Fri, 24 May 2024 16:13:22 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 23:56:12.635963
Title: FedAWARE: Maximizing Gradient Diversity for Heterogeneous Federated Server-side Optimization
Title（参考訳）: FedAWARE: 異種フェデレーションサーバサイド最適化のためのグラディエント多様性の最大化
Authors: Dun Zeng, Zenglin Xu, Yu Pan, Qifan Wang, Xiaoying Tang,
Abstract要約: textscFedAWAREはプラグインモジュールとしてFLアルゴリズムのパフォーマンスを向上させることができる。 textscFedAWAREはプラグインモジュールとしてFLアルゴリズムのパフォーマンスを向上させることができる。
参考スコア（独自算出の注目度）: 37.743911787044475
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated learning (FL) is a distributed learning framework where numerous clients collaborate with a central server to train a model without sharing local data. However, the standard federated optimization in real-world applications faces both statistical and system heterogeneity challenges, which result in unfavorable convergence behavior. The previous works attempted to modify the local training process (client-side) to tackle heterogeneity challenges. However, they ignored that the updates on the server side can coordinate the diverse local updates efficiently. This work explores the effect of server-side updates against heterogeneity issues. We first introduce the gradient diversity maximization direction findings, suggesting the global model moves continuously in this direction for fast and stable convergence. Then, we derive a novel server-side optimizer \textsc{FedAWARE} with rigorous convergence analysis for general non-convex settings. Our extensive experiments across multiple heterogeneous federated settings using four datasets showcase that \textsc{FedAWARE} achieves competitive convergence performance in comparison to state-of-the-art adaptive federated optimizers. Furthermore, our results show that \textsc{FedAWARE} can enhance the performance of FL algorithms as a plug-in module. Our source code is available at \url{https://github.com/dunzeng/FedAWARE}.
Abstract（参考訳）: Federated Learning(FL)は、多くのクライアントが、ローカルデータを共有せずにモデルをトレーニングするために、中央サーバと協力する分散学習フレームワークである。しかし、実世界のアプリケーションにおける標準フェデレーション最適化は、統計的およびシステム不均一性の課題に直面するため、不都合な収束挙動をもたらす。以前の研究は、不均一性の問題に取り組むために、局所的なトレーニングプロセス(クライアント側)を変更しようとした。しかし、サーバ側の更新は多様なローカル更新を効率的に調整できる点を無視した。本研究は異種問題に対するサーバ側の更新の効果について検討する。まず、勾配の多様性の最大化方向の発見を導入し、この方向のグローバルモデルが高速で安定な収束のために連続的に動き続けることを示唆する。次に、一般的な非凸設定に対して厳密な収束解析を施したサーバサイドオプティマイザ \textsc{FedAWARE} を導出する。 4つのデータセットを用いて、多種多様なフェデレーション・セッティングの広範な実験を行い、最先端の適応フェデレーション・オプティマイザと比較して、 <textsc{FedAWARE} が競合収束性能を達成することを示した。さらに,<textsc{FedAWARE} はプラグインモジュールとしてFLアルゴリズムの性能を向上させることができることを示す。ソースコードは \url{https://github.com/dunzeng/FedAWARE} で公開されています。

関連論文リスト

Federated Generalised Variational Inference: A Robust Probabilistic Federated Learning Framework [12.454538785810259]
FedGVIは確率的フェデレートラーニング(FL)フレームワークで、事前およびおそらく誤特定に対して確実に堅牢である。固定点収束、空洞分布の最適性、証明可能なロバスト性の観点から理論的解析を行う。
論文参考訳（メタデータ） (2025-02-02T16:39:37Z)
Factor-Assisted Federated Learning for Personalized Optimization with Heterogeneous Data [6.024145412139383]
フェデレートラーニング(Federated Learning)は、データプライバシ保護を目的とした、新興の分散機械学習フレームワークである。異なるクライアントのデータには、共通の知識とパーソナライズされた知識の両方が含まれている。我々は、FedSplitと呼ばれる異種データのための、新しい個人化されたフェデレーション学習フレームワークを開発した。
論文参考訳（メタデータ） (2023-12-07T13:05:47Z)
Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
論文参考訳（メタデータ） (2023-06-28T18:52:27Z)
Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。本稿では,共形予測を連邦学習環境に拡張する。本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
論文参考訳（メタデータ） (2023-05-27T19:57:27Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
On the Unreasonable Effectiveness of Federated Averaging with Heterogeneous Data [39.600069116159695]
既存の理論では、フェデレーション学習におけるフェデレーション平均化(FedAvg)アルゴリズムの性能は、データの不均一性が低下すると予想している。本稿では,従来の理論的予測と矛盾するFedAvgの有効性について述べる。
論文参考訳（メタデータ） (2022-06-09T18:25:25Z)
FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
論文参考訳（メタデータ） (2022-05-27T00:55:24Z)
Federated Composite Optimization [28.11253930828807]
Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
論文参考訳（メタデータ） (2020-11-17T06:54:06Z)
A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
論文参考訳（メタデータ） (2020-07-11T05:59:08Z)
FedDANE: A Federated Newton-Type Method [49.9423212899788]
フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
論文参考訳（メタデータ） (2020-01-07T07:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。