論文の概要: On Provable Benefits of Muon in Federated Learning

• arxiv url: http://arxiv.org/abs/2510.03866v1
• Date: Sat, 04 Oct 2025 16:27:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.307165
• Title: On Provable Benefits of Muon in Federated Learning
• Title（参考訳）: フェデレーションラーニングにおけるムーンの有益性について
• Authors: Xinwen Zhang, Hongchang Gao,
• Abstract要約: 最近導入された実験であるMuonは、幅広いアプリケーションにまたがる優れたパフォーマンスのために注目を集めている。 本稿では,Fedon学習アルゴリズムの未探索設定におけるMuonのフェデレーション性能について検討する。
• 参考スコア（独自算出の注目度）: 23.850171320924574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recently introduced optimizer, Muon, has gained increasing attention due to its superior performance across a wide range of applications. However, its effectiveness in federated learning remains unexplored. To address this gap, this paper investigates the performance of Muon in the federated learning setting. Specifically, we propose a new algorithm, FedMuon, and establish its convergence rate for nonconvex problems. Our theoretical analysis reveals multiple favorable properties of FedMuon. In particular, due to its orthonormalized update direction, the learning rate of FedMuon is independent of problem-specific parameters, and, importantly, it can naturally accommodate heavy-tailed noise. The extensive experiments on a variety of neural network architectures validate the effectiveness of the proposed algorithm.
• Abstract（参考訳）: 最近導入されたオプティマイザであるMuonは、幅広いアプリケーションにまたがる優れたパフォーマンスのために注目を集めている。 しかし、連合学習におけるその効果は未解明のままである。 このギャップに対処するため,連合学習環境におけるMuonの性能について検討する。 具体的には,新しいアルゴリズムであるFedMuonを提案し,非凸問題に対する収束率を確立する。 理論的解析によりFedMuonの複数の好ましい性質が明らかになった。 特に、正則化された更新方向のため、FedMuonの学習速度は問題固有のパラメータとは独立しており、重要なことに、重み付けされたノイズに自然に適応することができる。 様々なニューラルネットワークアーキテクチャに関する広範な実験により、提案アルゴリズムの有効性が検証された。

関連論文リスト

• DeMuon: A Decentralized Muon for Matrix Optimization over Graphs [20.832302616074966]
  DeMuonは、与えられた通信トポロジに対する分散行列最適化の方法である。 我々は,様々な接続度を持つグラフを事前学習する分散トランスについて,予備的な数値実験を行った。
  論文  参考訳（メタデータ） (2025-10-01T19:06:11Z)
• FedMuon: Federated Learning with Bias-corrected LMO-based Optimization [36.00641661700195]
  我々は,ミュオンがフェデレートラーニングにどのように活用できるかを考察した。 我々はFedMuonが最先端のフェデレーション学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-30T14:45:12Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Fourier Multi-Component and Multi-Layer Neural Networks: Unlocking High-Frequency Potential [9.699640804685629]
  本稿では,FMMNN(Fourier Multi-Component and Multi-Layer Neural Network)を紹介する。 我々は、FMMNNが高周波成分のモデリングに非常に効果的で柔軟なことを実証した。 また、FMMNNの最適化状況を分析し、標準の完全連結ニューラルネットワークよりもずっと好都合であることを示した。
  論文  参考訳（メタデータ） (2025-02-26T09:12:52Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• Federated Compositional Deep AUC Maximization [58.25078060952361]
  本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。 私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
  論文  参考訳（メタデータ） (2023-04-20T05:49:41Z)
• Improving the Robustness of Neural Multiplication Units with Reversible Stochasticity [2.4278445972594525]
  多層パーセプトロンは、ある種の単純な算術的なタスクを学ぶのに苦労する。 特殊神経NMU(sNMU)は可逆性を適用するために提案され、そのようなオプティマの回避を奨励する。
  論文  参考訳（メタデータ） (2022-11-10T14:56:37Z)
• Deep Frequency Filtering for Domain Generalization [55.66498461438285]
  Deep Neural Networks(DNN)は、学習プロセスにおいて、いくつかの周波数成分を優先する。 本稿では、ドメイン一般化可能な特徴を学習するためのDeep Frequency Filtering (DFF)を提案する。 提案したDFFをベースラインに適用すると,ドメインの一般化タスクにおける最先端の手法よりも優れることを示す。
  論文  参考訳（メタデータ） (2022-03-23T05:19:06Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• FedU: A Unified Framework for Federated Multi-Task Learning with Laplacian Regularization [15.238123204624003]
  フェデレート・マルチタスク・ラーニング(FMTL)は、フェデレーション・ラーニングにおけるクライアント間の統計的多様性を捉える自然な選択肢として登場した。 統計的多様性を超えてFMTLを解き放つために、ラプラシア正規化を用いて新しいFMTL FedUを策定する。
  論文  参考訳（メタデータ） (2021-02-14T13:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。