論文の概要: FedMuon: Accelerating Federated Learning with Matrix Orthogonalization

• arxiv url: http://arxiv.org/abs/2510.27403v1
• Date: Fri, 31 Oct 2025 11:41:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.089844
• Title: FedMuon: Accelerating Federated Learning with Matrix Orthogonalization
• Title（参考訳）: FedMuon: マトリックス直交化によるフェデレーション学習の促進
• Authors: Junkang Liu, Fanhua Shang, Junchao Zhou, Hongying Liu, Yuanyuan Liu, Jin Liu,
• Abstract要約: フェデレートラーニング(FL)の中核的なボトルネックは、コミュニケーションラウンドにあります。 既存のFL法は主に元素の局所性(Adam/SGD)を用いており、重量行列の幾何学的構造を無視している。 本稿では,2つの重要な手法を取り入れた新しいフェデレート・ムーン(FedMuon)を提案する。
• 参考スコア（独自算出の注目度）: 27.47081354557656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The core bottleneck of Federated Learning (FL) lies in the communication rounds. That is, how to achieve more effective local updates is crucial for reducing communication rounds. Existing FL methods still primarily use element-wise local optimizers (Adam/SGD), neglecting the geometric structure of the weight matrices. This often leads to the amplification of pathological directions in the weights during local updates, leading deterioration in the condition number and slow convergence. Therefore, we introduce the Muon optimizer in local, which has matrix orthogonalization to optimize matrix-structured parameters. Experimental results show that, in IID setting, Local Muon significantly accelerates the convergence of FL and reduces communication rounds compared to Local SGD and Local AdamW. However, in non-IID setting, independent matrix orthogonalization based on the local distributions of each client induces strong client drift. Applying Muon in non-IID FL poses significant challenges: (1) client preconditioner leading to client drift; (2) moment reinitialization. To address these challenges, we propose a novel Federated Muon optimizer (FedMuon), which incorporates two key techniques: (1) momentum aggregation, where clients use the aggregated momentum for local initialization; (2) local-global alignment, where the local gradients are aligned with the global update direction to significantly reduce client drift. Theoretically, we prove that \texttt{FedMuon} achieves a linear speedup convergence rate without the heterogeneity assumption, where $S$ is the number of participating clients per round, $K$ is the number of local iterations, and $R$ is the total number of communication rounds. Empirically, we validate the effectiveness of FedMuon on language and vision models. Compared to several baselines, FedMuon significantly reduces communication rounds and improves test accuracy.
• Abstract（参考訳）: フェデレートラーニング(FL)の中核的なボトルネックは、コミュニケーションラウンドにあります。 つまり、コミュニケーションラウンドを減らすために、より効果的なローカルアップデートを実現する方法が重要です。 既存のFL法は、重量行列の幾何学的構造を無視した要素ワイド局所最適化器(Adam/SGD)を主に用いている。 これはしばしば、局所的な更新中に重量の病理的な方向が増幅され、状態番号が劣化し、収束が遅くなる。 そこで我々は,行列構造パラメータを最適化する行列直交化を持つ局所的にMuonオプティマイザを導入する。 実験の結果、IID設定では、ローカルミューオンはFLの収束を著しく加速し、ローカルSGDやローカルAdamWに比べて通信ラウンドを減少させることがわかった。 しかし、非IID設定では、各クライアントの局所分布に基づく独立行列直交化は強いクライアントドリフトを誘導する。 非IID FLに Muon を適用することは、(1) クライアントのドリフトにつながるクライアントプレコンディショナー、(2) モーメント再起動など、大きな課題をもたらす。 これらの課題に対処するため,1) モーメント集約, クライアントが局所初期化に集約モーメントを利用する,2) 局所的勾配がグローバルな更新方向と整合してクライアントのドリフトを著しく低減する,という2つの主要な手法を取り入れた,新しいフェデレート・ムーン・オプティマイザ(FedMuon)を提案する。 理論的には、$S$はラウンド当たりの参加クライアント数、$K$はローカルイテレーション数、$R$は通信ラウンド総数である。 言語モデルと視覚モデルにおけるFedMuonの有効性を実証的に検証した。 いくつかのベースラインと比較すると、FedMuonは通信ラウンドを大幅に削減し、テスト精度を向上させる。

関連論文リスト

• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [1.9766522384767224]
  underlineAsynchunderlineRonous underlineExact underlineAveraging (textscAREA) textscAREAは勾配推定よりもモデル残差を通信し、勾配反転への露出を減らす。 最初は、最低または最大ではなく、平均的なクライアント更新頻度でスケールするレートを取得しました。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• Improving the Model Consistency of Decentralized Federated Learning [68.2795379609854]
  フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。 既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。 DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
  論文  参考訳（メタデータ） (2023-02-08T14:37:34Z)
• FedFOR: Stateless Heterogeneous Federated Learning with First-Order Regularization [24.32029125031383]
  フェデレートラーニング(FL)は、集中型データセンタでデータを収集することなく、ローカルクライアントにモデルトレーニングを配布することを目指している。 本稿では,グローバルなデータ分布の局所的な目的への一階述語近似を提案し,グローバルな更新の反対方向に直感的に更新をペナルティ化する。 我々のアプローチはクライアントサイズに非現実的な制限を課しておらず、ほとんどのFLアプリケーションで典型的なような、多数のクライアントからの学習を可能にします。
  論文  参考訳（メタデータ） (2022-09-21T17:57:20Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。