Fugu-MT 論文翻訳(概要): Federated Compositional Muon Optimizer for Matrix-Wise Models

論文の概要: Federated Compositional Muon Optimizer for Matrix-Wise Models

arxiv url: http://arxiv.org/abs/2608.12710v2
Date: Tue, 18 Aug 2026 06:18:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-19 13:45:32.778991
Title: Federated Compositional Muon Optimizer for Matrix-Wise Models
Title（参考訳）: マトリックスワイズモデルに対するFederated compositional MuonOptimizer
Abstract要約: 本研究では,分散行列式構成問題の解法として,効率的な構成ムオン(FedCoMuon)を提案する。提案手法は,既存の構成ベースラインと競合し,複数の設定で最高の精度が得られることを示す。
参考スコア（独自算出の注目度）: 12.397558747278305
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Muon, a more recently developed optimizer, is useful for matrix-wise models in AI areas. Although many works have studied Muon and its variants, these methods are still not particularly well-suited for hierarchical structured problems. To fill this gap, we propose an effective federated compositional Muon (FedCoMuon) optimizer to solve distributed matrix-wise compositional optimization problems. Specifically, our FedCoMuon optimizer builds on compositional gradient tracking and orthogonalized momentum. Moreover, we propose a variance reduced variant of FedCoMuon (FedCoMuon-VR) based on a momentum-based variance reduced technique. In theory, we analyze the convergence properties of our algorithms under the non-i.i.d. and non-convex settings. In particular, we prove that our FedCoMuon-VR obtains a lower sample complexity of $O(ε^{-3})$ for finding an $ε$-stationary solution than the existing FedMuon algorithms. Extensive numerical experiments on robust federated learning and task-distributed risk-sensitive meta learning show that our proposed methods are competitive with existing compositional baselines and achieve the best reported accuracy in several settings.
Abstract（参考訳）: より最近のオプティマイザであるMuonは、AI領域における行列モデルに有用である。多くの研究がミューオンとその変種を研究しているが、これらの方法はまだ階層構造問題には適していない。このギャップを埋めるために,分散行列式合成最適化問題の解法として,フェデレートされた合成ムーン (FedCoMuon) 最適化器を提案する。特に、我々のFedCoMuonオプティマイザは、組成勾配追跡と直交運動量に基づく。さらに,運動量に基づく分散低減手法に基づいて,FedCoMuon(FedCoMuon-VR)の分散低減変種を提案する。理論的には,非凸条件および非凸条件下でのアルゴリズムの収束特性を解析する。特に,我々のFedCoMuon-VRは,既存のFedMuonアルゴリズムよりも,$O(ε^{-3})$の値が低いことを証明している。頑健なフェデレーション学習とタスク分散型リスクセンシティブなメタラーニングに関する大規模な数値実験により,提案手法は既存の構成ベースラインと競合し,いくつかの設定で最高の精度を達成できることを示す。

関連論文リスト

A Momentum-Based Variance-Reduced Algorithm for Federated Multiobjective Optimization [3.8924391892411543]
現実世界のアプリケーションでは、機械学習モデルは複数の潜在的に矛盾する目標を同時に最適化する必要があることが多い。本稿では,多目的最適化のためのモーメントに基づく分散推定アルゴリズムを提案する。
論文参考訳（メタデータ） (2026-08-24T08:14:44Z)
On MUON optimization: From non-convergence to an error analysis with Polar Express and the Newton-Schulz polynomial from implementations [1.8734449181723825]
勾配降下(SGD)最適化手法はディープニューラルネットワーク(DNN)のトレーニングのための標準機器であるそのような加速多様体の最も一般的な方法の1つは、2024年にジョルダンらによって提案されたニュートン・シュルツ(MUON)による運動量化である。 MUONが最適化問題への収束に失敗する最小バッチのほとんどすべてについて、勾配ステップの数が無限大に収束することを示す。また、勾配ステップの数やミニバッチサイズの観点から収束率を提供する一般化NSステップを用いたMUONの誤差解析も確立する。
論文参考訳（メタデータ） (2026-08-05T09:14:22Z)
Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。アダム型学習法は,大規模言語モデルの最小化よりも優れている。
論文参考訳（メタデータ） (2025-12-18T14:38:39Z)
DeMuon: A Decentralized Muon for Matrix Optimization over Graphs [20.832302616074966]
DeMuonは、与えられた通信トポロジに対する分散行列最適化の方法である。我々は,様々な接続度を持つグラフを事前学習する分散トランスについて,予備的な数値実験を行った。
論文参考訳（メタデータ） (2025-10-01T19:06:11Z)
On the Convergence of Muon and Beyond [31.900178928104648]
分散の低減により、Muon-MVR2 が最適な複雑性を達成できるという最初の証明を提供する。全体として、この研究はムオン形式の最適性の最初の証明を提供する。
論文参考訳（メタデータ） (2025-09-19T09:43:37Z)
Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。非滑らかな正規化はしばしば機械学習タスクに組み込まれる。本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-04-17T08:32:25Z)
Stochastic Optimal Control Matching [53.156277491861985]
最適制御のための新しい反復拡散最適化(IDO)技術である最適制御マッチング(SOCM)を導入する。この制御は、一致するベクトル場に適合しようとすることで、最小二乗問題を通じて学習される。実験により,本アルゴリズムは最適制御のための既存のすべての IDO 手法よりも低い誤差を実現する。
論文参考訳（メタデータ） (2023-12-04T16:49:43Z)
Faster Adaptive Momentum-Based Federated Methods for Distributed Composition Optimization [14.579475552088692]
非分散合成問題の解法として,高速なフェデレート合成最適化アルゴリズム(MFCGDとAdaMFCGD)を提案する。特に、我々の適応アルゴリズム(AdaMFCGD)は、様々な適応学習率を柔軟に組み込むために統一適応行列を使用する。
論文参考訳（メタデータ） (2022-11-03T15:17:04Z)
An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文参考訳（メタデータ） (2022-10-27T01:58:10Z)
FEDNEST: Federated Bilevel, Minimax, and Compositional Optimization [53.78643974257301]
多くの現代のML問題は、ミニマックスと合成最適化を仮定したネストされた双レベルプログラミングに該当する。我々は、一般的なネスト問題に対処するフェデレーション付き交互勾配法を提案する。
論文参考訳（メタデータ） (2022-05-04T17:48:55Z)
Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文参考訳（メタデータ） (2021-07-02T16:21:52Z)
Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
論文参考訳（メタデータ） (2021-06-02T22:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。