論文の概要: On the Power of Adaptive Weighted Aggregation in Heterogeneous Federated Learning and Beyond

• arxiv url: http://arxiv.org/abs/2310.02702v4
• Date: Fri, 13 Dec 2024 16:34:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:00:20.715011
• Title: On the Power of Adaptive Weighted Aggregation in Heterogeneous Federated Learning and Beyond
• Title（参考訳）: 不均一なフェデレーション学習における適応重み付けの力について
• Authors: Dun Zeng, Zenglin Xu, Shiyu Liu, Yu Pan, Qifan Wang, Xiaoying Tang,
• Abstract要約: フェデレーション平均化(FedAvg)は、フェデレーション学習(FL)において最も基本的なアルゴリズムである 最近の実証実験の結果、FedAvgは多くの実世界の異種タスクでうまく機能することが示された。 我々はFedAWAREと呼ばれるシンプルで効果的なFedAvg変種を提案する。
• 参考スコア（独自算出の注目度）: 37.894835756324454
• License:
• Abstract: Federated averaging (FedAvg) is the most fundamental algorithm in Federated learning (FL). Previous theoretical results assert that FedAvg convergence and generalization degenerate under heterogeneous clients. However, recent empirical results show that FedAvg can perform well in many real-world heterogeneous tasks. These results reveal an inconsistency between FL theory and practice that is not fully explained. In this paper, we show that common heterogeneity measures contribute to this inconsistency based on rigorous convergence analysis. Furthermore, we introduce a new measure \textit{client consensus dynamics} and prove that \textit{FedAvg can effectively handle client heterogeneity when an appropriate aggregation strategy is used}. Building on this theoretical insight, we present a simple and effective FedAvg variant termed FedAWARE. Extensive experiments on three datasets and two modern neural network architectures demonstrate that FedAWARE ensures faster convergence and better generalization in heterogeneous client settings. Moreover, our results show that FedAWARE can significantly enhance the generalization performance of advanced FL algorithms when used as a plug-in module.
• Abstract（参考訳）: フェデレーション平均化(FedAvg)は、フェデレーション学習(FL)において最も基本的なアルゴリズムである。 以前の理論的結果は、FedAvg収束と一般化が不均一なクライアントの下で退化すると主張している。 しかし、最近の実証実験の結果、FedAvgは多くの実世界の異種タスクでうまく機能することが示された。 これらの結果は、完全に説明されていないFL理論と実践の矛盾を明らかにしている。 本稿では、厳密な収束分析に基づく共通不均一性尺度が、この矛盾に寄与することを示す。 さらに、新しい測度 \textit{client consensus dynamics} を導入し、適切なアグリゲーション戦略を使用すると、 \textit{FedAvg がクライアントの不均一性を効果的に処理できることを証明する。 この理論的な洞察に基づいて、FedAWAREと呼ばれるシンプルで効果的なFedAvg変種を示す。 3つのデータセットと2つの現代的なニューラルネットワークアーキテクチャに関する大規模な実験は、FedAWAREが不均一なクライアント設定におけるより高速な収束とより良い一般化を保証することを実証している。 さらに,FedAWAREはプラグインモジュールとして使用する場合,高度なFLアルゴリズムの一般化性能を大幅に向上させることができることを示す。

関連論文リスト

• Modality Alignment Meets Federated Broadcasting [9.752555511824593]
  フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。 本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-24T13:30:03Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Locally Adaptive Federated Learning [30.19411641685853]
  フェデレートラーニング(Federated Learning)とは、複数のクライアントが中央サーバと協調してモデルを学習する分散機械学習のパラダイムである。 Federated Averaging (FedAvg)のような標準的なフェデレーション最適化手法は、クライアント間の一般化を保証する。 本稿では,各クライアント関数の局所的幾何情報を利用する局所的フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-12T17:02:32Z)
• Neural Collapse Inspired Federated Learning with Non-iid Data [31.576588815816095]
  非独立かつ同一に分散された(非ID)特性は、ローカル更新に大きな違いをもたらし、中央サーバの性能に影響する。 神経崩壊の現象にインスパイアされた私たちは、各クライアントを最適なグローバル構造に最適化するよう強制する。 提案手法は, 異なるサイズのデータセット上での収束速度を高速化して, 性能を向上することができる。
  論文  参考訳（メタデータ） (2023-03-27T05:29:53Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Local Adaptivity in Federated Learning: Convergence and Consistency [25.293584783673413]
  フェデレートラーニング(FL)フレームワークは、局所的に訓練されたモデルを定期的に集約することで、エッジクライアントデバイスに格納された分散データを使用して機械学習モデルをトレーニングする。 局所適応法は収束を加速できるが, 解バイアスを生じさせる可能性があることを示す。 本稿では,この不整合を克服し,FLの局所適応手法を補完する補正手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T07:36:59Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)
• Adaptive Federated Optimization [43.78438670284309]
  フェデレートラーニングでは、多数のクライアントが中央サーバとコーディネートして、自身のデータを共有せずにモデルを学習する。 適応最適化手法は、このような問題に対処する際、顕著な成功を収めている。 適応型学習は,フェデレート学習の性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-02-29T16:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。