論文の概要: FedNSAM:Consistency of Local and Global Flatness for Federated Learning
- arxiv url: http://arxiv.org/abs/2602.23827v1
- Date: Fri, 27 Feb 2026 09:07:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-02 19:48:24.346153
- Title: FedNSAM:Consistency of Local and Global Flatness for Federated Learning
- Title（参考訳）: FedNSAM:フェデレートラーニングのための局所的・グローバル的平坦性の一貫性
- Authors: Junkang Liu, Fanhua Shang, Yuxuan Tian, Hongying Liu, Yuanyuan Liu,
- Abstract要約: ローカル更新にグローバルネステロフ運動量を導入してSAMアルゴリズムを高速化する新しい textbfFedNSAM アルゴリズムを提案する。
textbfFedNSAMは、クライアントのグローバルな摂動と外挿の局所的な推定の方向として、グローバルなネステロフ運動量を使用する。
経験的に、我々は、textbfFedNSAMの優れた性能と効率を検証するために、CNNおよびTransformerモデルに関する包括的な実験を行う。
- 参考スコア（独自算出の注目度）: 26.41380732455181
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In federated learning (FL), multi-step local updates and data heterogeneity usually lead to sharper global minima, which degrades the performance of the global model. Popular FL algorithms integrate sharpness-aware minimization (SAM) into local training to address this issue. However, in the high data heterogeneity setting, the flatness in local training does not imply the flatness of the global model. Therefore, minimizing the sharpness of the local loss surfaces on the client data does not enable the effectiveness of SAM in FL to improve the generalization ability of the global model. We define the \textbf{flatness distance} to explain this phenomenon. By rethinking the SAM in FL and theoretically analyzing the \textbf{flatness distance}, we propose a novel \textbf{FedNSAM} algorithm that accelerates the SAM algorithm by introducing global Nesterov momentum into the local update to harmonize the consistency of global and local flatness. \textbf{FedNSAM} uses the global Nesterov momentum as the direction of local estimation of client global perturbations and extrapolation. Theoretically, we prove a tighter convergence bound than FedSAM by Nesterov extrapolation. Empirically, we conduct comprehensive experiments on CNN and Transformer models to verify the superior performance and efficiency of \textbf{FedNSAM}. The code is available at https://github.com/junkangLiu0/FedNSAM.
- Abstract（参考訳）: フェデレートラーニング(FL)では、多段階の局所的な更新とデータの均一性は通常、よりシャープなグローバルミニマにつながり、グローバルモデルの性能を低下させる。
一般的なFLアルゴリズムは、シャープネスを意識した最小化(SAM)をローカルトレーニングに統合し、この問題に対処する。
しかし、高データ不均一性設定では、局所的な訓練における平坦性は、大域的なモデルの平坦性を意味するものではない。
したがって、クライアントデータ上の局所損失面のシャープさを最小化することは、FLにおけるSAMの有効性を損なうことなく、グローバルモデルの一般化能力を向上させることができる。
この現象を説明するために textbf{flatness distance {\displaystyle \textbf{flatness distance} を定義する。
FLにおけるSAMを再考し,理論上は「textbf{flatness distance}」を解析することにより,グローバルネステロフ運動量を導入してSAMアルゴリズムを高速化する新しい「textbf{FedNSAM}」アルゴリズムを提案する。
textbf{FedNSAM} は、クライアントのグローバルな摂動と外挿の局所推定の方向として、グローバルネステロフ運動量を用いる。
理論的には、Nesterov外挿法により、FedSAMよりも厳密な収束が証明される。
実験により,CNNとTransformerモデルの総合的な実験を行い,より優れた性能と効率を検証した。
コードはhttps://github.com/junkangLiu0/FedNSAMで入手できる。
関連論文リスト
- Federated Learning with Feedback Alignment [1.879054346828946]
フェデレートラーニング(FL)は、データのプライバシを保持しながら、複数のクライアント間で協調的なトレーニングを可能にする。
FLFA(Federated Learning with Feedback Alignment)は、フィードバックアライメントをFLに統合する新しいフレームワークである。
FLFAは、ローカルトレーニングの後方通過中に、グローバルモデルの重みを共有フィードバックマトリックスとして使用し、ローカル更新をグローバルモデルと効率的に整合させる。
論文 参考訳（メタデータ） (2025-12-14T16:59:55Z) - Neighborhood and Global Perturbations Supported SAM in Federated Learning: From Local Tweaks To Global Awareness [29.679323144520037]
フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で調整して、プライバシ保護モデルを構築することができる。
本稿では,最小限のアップリンク通信オーバヘッドを維持しつつ,一般化目標を考慮した新しいFLアルゴリズムであるFedTOGAを提案する。
論文 参考訳（メタデータ） (2024-08-26T09:42:18Z) - Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization [81.32266996009575]
フェデレートラーニング(FL)では、クライアント間の複数ステップの更新とデータの均一性が、よりシャープなミニマによるロスランドスケープにつながることが多い。
クライアント側におけるグローバルな摂動方向を局所的に推定する新しいアルゴリズムであるFedLESAMを提案する。
論文 参考訳（メタデータ） (2024-05-29T08:46:21Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Understanding How Consistency Works in Federated Learning via Stage-wise
Relaxed Initialization [84.42306265220274]
フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。
従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。
FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズム textitFedInit を設計する。
論文 参考訳（メタデータ） (2023-06-09T06:55:15Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳（メタデータ） (2023-05-19T10:47:44Z) - FedSpeed: Larger Local Interval, Less Communication Round, and Higher
Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。
これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。
本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文 参考訳（メタデータ） (2023-02-21T03:55:29Z) - Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。
実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
論文 参考訳（メタデータ） (2022-06-06T13:54:41Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Preservation of the Global Knowledge by Not-True Self Knowledge
Distillation in Federated Learning [8.474470736998136]
フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。
偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。
本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-06T11:51:47Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-18T16:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。