論文の概要: Widening the Network Mitigates the Impact of Data Heterogeneity on FedAvg

• arxiv url: http://arxiv.org/abs/2508.12576v1
• Date: Mon, 18 Aug 2025 02:22:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.946995
• Title: Widening the Network Mitigates the Impact of Data Heterogeneity on FedAvg
• Title（参考訳）: ネットワークの拡大は、FedAvgにおけるデータ不均一性の影響を緩和する
• Authors: Like Jian, Dong Liu,
• Abstract要約: フェデレートラーニング(FL)により、分散クライアントは、ローカルデータを共有せずに、協調的にモデルをトレーニングできる。 ニューラルネットワークの幅が大きくなると、データの不均一性の影響は減少し、幅が無限に近づくと最終的に消滅する。 無限幅系では、FedAvgのグローバルモデルと局所モデルの両方が線形モデルとして振る舞うことがさらに証明され、FedAvgはGD反復数と同じ数の集中学習と同じ一般化性能を達成する。
• 参考スコア（独自算出の注目度）: 6.185573921868495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) enables decentralized clients to train a model collaboratively without sharing local data. A key distinction between FL and centralized learning is that clients' data are non-independent and identically distributed, which poses significant challenges in training a global model that generalizes well across heterogeneous local data distributions. In this paper, we analyze the convergence of overparameterized FedAvg with gradient descent (GD). We prove that the impact of data heterogeneity diminishes as the width of neural networks increases, ultimately vanishing when the width approaches infinity. In the infinite-width regime, we further prove that both the global and local models in FedAvg behave as linear models, and that FedAvg achieves the same generalization performance as centralized learning with the same number of GD iterations. Extensive experiments validate our theoretical findings across various network architectures, loss functions, and optimization methods.
• Abstract（参考訳）: フェデレートラーニング(FL)により、分散クライアントは、ローカルデータを共有せずに、協調的にモデルをトレーニングできる。 FLと集中学習の主な違いは、クライアントのデータが非独立であり、同一に分散されていることである。 本稿では,勾配降下(GD)による過パラメータ化FedAvgの収束度を解析する。 ニューラルネットワークの幅が大きくなると、データの不均一性の影響は減少し、幅が無限に近づくと最終的に消滅する。 無限幅系では、FedAvgのグローバルモデルと局所モデルの両方が線形モデルとして振る舞うことがさらに証明され、FedAvgはGD反復数と同じ数の集中学習と同じ一般化性能を達成する。 様々なネットワークアーキテクチャ、損失関数、最適化手法にまたがる理論的な知見を広範囲にわたる実験により検証した。

関連論文リスト

• Dynamic Clustering for Personalized Federated Learning on Heterogeneous Edge Devices [10.51330114955586]
  フェデレートラーニング(FL)は、エッジデバイスがグローバルモデルを協調的に学習することを可能にする。 パーソナライズド・フェデレーション・ラーニング・システム(DC-PFL)のための動的クラスタリングアルゴリズムを提案する。 また,DC-PFLはトレーニング時間を大幅に短縮し,ベースラインに比べてモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2025-08-03T04:19:22Z)
• AFCL: Analytic Federated Continual Learning for Spatio-Temporal Invariance of Non-IID Data [45.66391633579935]
  Federated Continual Learning (FCL)は、分散クライアントがオンラインタスクストリームからグローバルモデルを協調的にトレーニングすることを可能にする。 FCL法は,分散クライアント間の空間的データ不均一性とオンラインタスク間の時間的データ不均一性の両方の課題に直面している。 凍結抽出特徴量から解析的解(すなわち閉形式)を導出することにより,解析的フェデレート連続学習(AFCL)と呼ばれる勾配のない手法を提案する。
  論文  参考訳（メタデータ） (2025-05-18T05:55:09Z)
• FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning [12.307490659840845]
  フェデレートラーニング(FL)は、様々なクライアントからローカルに最適化されたモデルと、統一されたグローバルモデルを組み合わせる。 FLは、性能劣化、収束の遅さ、グローバルモデルの堅牢性低下など、重大な課題に直面している。 これらの問題を効果的に解決するために、革新的なデュアルストラテジーアプローチを導入する。
  論文  参考訳（メタデータ） (2024-12-05T18:42:29Z)
• Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
  スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。 フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。 本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-10T04:03:09Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Linear Regression with Distributed Learning: A Generalization Error Perspective [0.0]
  大規模線形回帰のための分散学習の性能を検討する。 我々は、一般化エラー、すなわち、見当たらないデータのパフォーマンスに焦点を当てる。 その結果、分散ソリューションの一般化誤差は、集中ソリューションの一般化誤差よりも大幅に高いことが示された。
  論文  参考訳（メタデータ） (2021-01-22T08:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。