Fugu-MT 論文翻訳(概要): FedSWA: Improving Generalization in Federated Learning with Highly Heterogeneous Data via Momentum-Based Stochastic Controlled Weight Averaging

論文の概要: FedSWA: Improving Generalization in Federated Learning with Highly Heterogeneous Data via Momentum-Based Stochastic Controlled Weight Averaging

arxiv url: http://arxiv.org/abs/2507.20016v1
Date: Sat, 26 Jul 2025 17:12:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-29 16:23:56.672163
Title: FedSWA: Improving Generalization in Federated Learning with Highly Heterogeneous Data via Momentum-Based Stochastic Controlled Weight Averaging
Title（参考訳）: FedSWA: モーメントベース確率制御重み平均化による高次不均一データによるフェデレーション学習の一般化改善
Authors: Liu junkang, Yuanyuan Liu, Fanhua Shang, Hongying Liu, Jin Liu, Wei Feng,
Abstract要約: 非常に異質なデータの場合、FedSAMは通常FedAvgよりもパフォーマンスが悪くなります。 Weight Averaging(texttFedSWA)という,フラットな最小値を求める新しい,効果的なフェデレーション学習アルゴリズムを提案する。また,局所モデルとグローバルモデルとの整合性の向上を目的とした,運動量に基づく平均重み付けFLアルゴリズム (texttFedMoSWA) も導入した。
参考スコア（独自算出の注目度）: 23.786128968778396
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: For federated learning (FL) algorithms such as FedSAM, their generalization capability is crucial for real-word applications. In this paper, we revisit the generalization problem in FL and investigate the impact of data heterogeneity on FL generalization. We find that FedSAM usually performs worse than FedAvg in the case of highly heterogeneous data, and thus propose a novel and effective federated learning algorithm with Stochastic Weight Averaging (called \texttt{FedSWA}), which aims to find flatter minima in the setting of highly heterogeneous data. Moreover, we introduce a new momentum-based stochastic controlled weight averaging FL algorithm (\texttt{FedMoSWA}), which is designed to better align local and global models. Theoretically, we provide both convergence analysis and generalization bounds for \texttt{FedSWA} and \texttt{FedMoSWA}. We also prove that the optimization and generalization errors of \texttt{FedMoSWA} are smaller than those of their counterparts, including FedSAM and its variants. Empirically, experimental results on CIFAR10/100 and Tiny ImageNet demonstrate the superiority of the proposed algorithms compared to their counterparts. Open source code at: https://github.com/junkangLiu0/FedSWA.
Abstract（参考訳）: FedSAMのようなFederated Learning (FL)アルゴリズムでは、その一般化能力はリアルタイムアプリケーションにとって不可欠である。本稿では,FLにおける一般化問題を再考し,データの不均一性がFL一般化に与える影響について検討する。我々は,FedSAMが高度に異質なデータを扱う場合,FedAvgよりもパフォーマンスが悪く,かつ,高度に異質なデータの設定において,より平坦な最小値を求めるStochastic Weight Averaging(‘texttt{FedSWA}’)を用いた,新しい効果的なフェデレーション学習アルゴリズムを提案する。さらに,局所モデルとグローバルモデルとの整合性を改善するために,運動量に基づく確率的制御量平均化FLアルゴリズム(\texttt{FedMoSWA})を導入する。理論的には、収束解析と一般化境界の両方を \texttt{FedSWA} と \texttt{FedMoSWA} に対して提供する。また, \texttt{FedMoSWA} の最適化と一般化の誤差が, FedSAM とその変種を含むそれらの最適化の誤差よりも小さいことを証明した。 CIFAR10/100とTiny ImageNetの実験的結果は、提案アルゴリズムが提案アルゴリズムよりも優れていることを示している。ソースコードは、https://github.com/junkangLiu0/FedSWA。

関連論文リスト

FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文参考訳（メタデータ） (2023-10-04T21:11:40Z)
On the Power of Adaptive Weighted Aggregation in Heterogeneous Federated Learning and Beyond [37.894835756324454]
フェデレーション平均化(FedAvg)は、フェデレーション学習(FL)において最も基本的なアルゴリズムである最近の実証実験の結果、FedAvgは多くの実世界の異種タスクでうまく機能することが示された。我々はFedAWAREと呼ばれるシンプルで効果的なFedAvg変種を提案する。
論文参考訳（メタデータ） (2023-10-04T10:15:57Z)
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文参考訳（メタデータ） (2022-12-14T13:57:01Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
論文参考訳（メタデータ） (2022-06-06T13:54:41Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)
Federated Composite Optimization [28.11253930828807]
Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
論文参考訳（メタデータ） (2020-11-17T06:54:06Z)
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。