論文の概要: A Fast and Flat Federated Learning Method via Weighted Momentum and Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2511.22080v1
• Date: Thu, 27 Nov 2025 04:02:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.384252
• Title: A Fast and Flat Federated Learning Method via Weighted Momentum and Sharpness-Aware Minimization
• Title（参考訳）: 重み付きモーメントとシャープネス認識最小化による高速かつフラットなフェデレーション学習法
• Authors: Tianle Li, Yongzhi Huang, Linshan Jiang, Chang Liu, Qipeng Xie, Wenfeng Du, Lu Wang, Kaishun Wu,
• Abstract要約: 本稿では,クライアントのSAM方向をグローバル降下幾何学と整合させるため,サーバ集約モーメントからのモーメント誘導大域摂動を提案する。 摂動によって引き起こされる分散$_2=2+(L)2$と理論側の$(S, K, R, N)$への依存を経験的にモデル化する非IID収束境界を提供する。
• 参考スコア（独自算出の注目度）: 16.674348270108993
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In federated learning (FL), models must \emph{converge quickly} under tight communication budgets while \emph{generalizing} across non-IID client distributions. These twin requirements have naturally led to two widely used techniques: client/server \emph{momentum} to accelerate progress, and \emph{sharpness-aware minimization} (SAM) to prefer flat solutions. However, simply combining momentum and SAM leaves two structural issues unresolved in non-IID FL. We identify and formalize two failure modes: \emph{local-global curvature misalignment} (local SAM directions need not reflect the global loss geometry) and \emph{momentum-echo oscillation} (late-stage instability caused by accumulated momentum). To our knowledge, these failure modes have not been jointly articulated and addressed in the FL literature. We propose \textbf{FedWMSAM} to address both failure modes. First, we construct a momentum-guided global perturbation from server-aggregated momentum to align clients' SAM directions with the global descent geometry, enabling a \emph{single-backprop} SAM approximation that preserves efficiency. Second, we couple momentum and SAM via a cosine-similarity adaptive rule, yielding an early-momentum, late-SAM two-phase training schedule. We provide a non-IID convergence bound that \emph{explicitly models the perturbation-induced variance} $σ_ρ^2=σ^2+(Lρ)^2$ and its dependence on $(S, K, R, N)$ on the theory side. We conduct extensive experiments on multiple datasets and model architectures, and the results validate the effectiveness, adaptability, and robustness of our method, demonstrating its superiority in addressing the optimization challenges of Federated Learning. Our code is available at https://github.com/Huang-Yongzhi/NeurlPS_FedWMSAM.
• Abstract（参考訳）: フェデレートラーニング(FL)では、モデルは厳密な通信予算の下で「emph{converge quick}」を、非IIDクライアント分散上では「emph{generalizing}」をなければならない。 これらのツイン要件は、進展を加速するためにクライアント/サーバ \emph{momentum} とフラットソリューションを優先するために \emph{sharpness-aware minimization} (SAM) という2つの広く使われている技術を生み出している。 しかし、運動量とSAMを単純に組み合わせただけで、非IID FLでは未解決な2つの構造上の問題が残る。 我々は,2つの障害モードを同定し,定式化する: \emph{local-global curvature misalignment} (局所SAM方向はグローバル損失幾何学を反映しない)と \emph{momentum-echo oscillation} (蓄積運動量による後期不安定性)である。 我々の知る限り、これらの障害モードはFL文献で共同で記述され、対処されていない。 両障害モードに対応するために, textbf{FedWMSAM} を提案する。 まず、サーバ集約モーメントからモーメント誘導された大域摂動を構築し、クライアントのSAM方向をグローバル降下幾何学と整合させ、効率を保った \emph{single-backprop} SAM近似を可能にする。 第二に、運動量とSAMをコサイン類似性適応規則で結合し、初期モメンタム、後期SAM2相訓練スケジュールを生成する。 我々は、emph{explicitly model the perturbation-induced variance} $σ_ρ^2=σ^2+(Lρ)^2$とその理論側の$(S, K, R, N)$への依存性を非IID収束境界とする。 提案手法の有効性,適応性,堅牢性を検証し,フェデレートラーニングの最適化課題に対処する上で,その優位性を実証した。 私たちのコードはhttps://github.com/Huang-Yongzhi/NeurlPS_FedWMSAMで公開されています。

関連論文リスト

• Accelerating Wireless Distributed Learning via Hybrid Split and Federated Learning Optimization [58.557093803478274]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、無線ネットワークにおいて効果的な分散ラーニングパラダイムである。 ハイブリッドスプリットとフェデレート学習(HSFL)の両方の利点を活用するために、一部のデバイスはFLモードで動作し、その他のデバイスはSLモードで動作することができる。 本論文は,(1)学習モードの選択が全体の学習性能にどのように影響するか,2)バッチサイズとどのように相互作用するか,という3つの重要な疑問に対処することによって,HSFLを加速することを目的としている。
  論文  参考訳（メタデータ） (2025-11-25T02:29:22Z)
• Momentum Approximation in Asynchronous Private Federated Learning [24.325330433282808]
  本稿では,すべての履歴モデル更新の最適重み付き平均を求めることにより,バイアスを最小限に抑えるモーメント近似を提案する。 我々は、ベンチマークFLデータセットにおいて、モーメント近似が収束のスピードアップで1.15のテクスム−-4タイムを達成できることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-02-14T15:35:53Z)
• Communication Efficient and Provable Federated Unlearning [43.178460522012934]
  我々は、フェデレーション・アンラーニング(フェデレーション・アンラーニング)という、特定のクライアントやデータポイントが、フェデレーション・ラーニング(FL)を通じて学習したグローバルモデルに与える影響をなくすための新しい問題について研究する。 この問題は、忘れられる権利とFLのプライバシー問題によって引き起こされる。 我々は,テキストコミュニケーション効率とテキストテキサクト・アンラーニング性という2つの重要な基準を満たす,正確な非ラーニングのための新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-01-19T20:35:02Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
  シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。 いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2023-03-01T15:12:42Z)
• Improving the Model Consistency of Decentralized Federated Learning [68.2795379609854]
  フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。 既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。 DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
  論文  参考訳（メタデータ） (2023-02-08T14:37:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。