論文の概要: DeMuon: A Decentralized Muon for Matrix Optimization over Graphs
- arxiv url: http://arxiv.org/abs/2510.01377v1
- Date: Wed, 01 Oct 2025 19:06:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:20.83298
- Title: DeMuon: A Decentralized Muon for Matrix Optimization over Graphs
- Title（参考訳）: DeMuon: グラフ上のマトリックス最適化のための分散ミューオン
- Authors: Chuan He, Shuyi Ren, Jingwei Mao, Erik G. Larsson,
- Abstract要約: DeMuonは、与えられた通信トポロジに対する分散行列最適化の方法である。
我々は,様々な接続度を持つグラフを事前学習する分散トランスについて,予備的な数値実験を行った。
- 参考スコア（独自算出の注目度）: 20.832302616074966
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose DeMuon, a method for decentralized matrix optimization over a given communication topology. DeMuon incorporates matrix orthogonalization via Newton-Schulz iterations-a technique inherited from its centralized predecessor, Muon-and employs gradient tracking to mitigate heterogeneity among local functions. Under heavy-tailed noise conditions and additional mild assumptions, we establish the iteration complexity of DeMuon for reaching an approximate stochastic stationary point. This complexity result matches the best-known complexity bounds of centralized algorithms in terms of dependence on the target tolerance. To the best of our knowledge, DeMuon is the first direct extension of Muon to decentralized optimization over graphs with provable complexity guarantees. We conduct preliminary numerical experiments on decentralized transformer pretraining over graphs with varying degrees of connectivity. Our numerical results demonstrate a clear margin of improvement of DeMuon over other popular decentralized algorithms across different network topologies.
- Abstract（参考訳）: 本稿では,与えられた通信トポロジに対する分散行列最適化手法であるDeMuonを提案する。
DeMuon は、Newton-Schulz 反復による行列直交化(英語版)を取り入れている。
重み付き雑音条件と追加の軽度仮定の下では、近似確率的定常点に到達するためのデムーンの反復複雑性を確立する。
この複雑性結果は、ターゲットの許容度に依存するという点で、集中型アルゴリズムの最もよく知られた複雑性境界と一致する。
私たちの知る限りでは、DeMuonは、証明可能な複雑性保証付きグラフ上の分散最適化に対するMuonの最初の直接拡張である。
我々は,様々な接続度を持つグラフを事前学習する分散トランスについて,予備的な数値実験を行った。
計算の結果,ネットワークトポロジにまたがる他の分散アルゴリズムに比べて,DeMuonは明らかに改善されていることがわかった。
関連論文リスト
- Muon in Associative Memory Learning: Training Dynamics and Scaling Laws [23.350512542598803]
We study Muon in a linear associative memory model with softmax search and ahierarchical frequency spectrum over query-apwer pairs。
我々は、Muonがこの不均衡を緩和し、より速く、より均一な進歩をもたらすことを示す。
論文 参考訳（メタデータ） (2026-02-05T14:49:40Z) - MuonBP: Faster Muon via Block-Periodic Orthogonalization [24.232069944820513]
ベースラインからMuonBPへの学習率の調整方法を示し、このアルゴリズムの保証を与える。
8方向テンソルテンソルとZeROによる8Bモデルのトレーニングでは、ムオンBPは8%のムオンを達成でき、性能は劣化しない。
論文 参考訳（メタデータ） (2025-10-19T19:56:05Z) - NorMuon: Making Muon more efficient and scalable [71.49702449498085]
我々はアダムの後継としてノームーンを提案する。
我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
論文 参考訳（メタデータ） (2025-10-07T01:13:41Z) - On Provable Benefits of Muon in Federated Learning [23.850171320924574]
最近導入された実験であるMuonは、幅広いアプリケーションにまたがる優れたパフォーマンスのために注目を集めている。
本稿では,Fedon学習アルゴリズムの未探索設定におけるMuonのフェデレーション性能について検討する。
論文 参考訳（メタデータ） (2025-10-04T16:27:09Z) - Error Feedback for Muon and Friends [80.90330715662961]
我々は、厳密な収束保証を備えた最初の通信効率非ユークリッドLMOであるEF21-Muonを紹介する。
我々の理論は、非ユークリッドの滑らかさとより一般的な$(L0, L1)$-smooth設定をカバーし、最もよく知られたユークリッドの速度と一致し、適切なノルム選択の下でより高速な収束を可能にする。
論文 参考訳（メタデータ） (2025-10-01T08:20:08Z) - Low-rank Orthogonalization for Large-scale Matrix Optimization with Applications to Foundation Model Training [3.1922198632169327]
近年、Muon citejordanmuonは、基礎モデルトレーニングにおける強力なパフォーマンスに対して大きな注目を集めている。
我々は,低ランク行列符号の勾配降下と低ランクのムオン変種を提案する。
論文 参考訳（メタデータ） (2025-09-15T14:28:53Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T08:32:25Z) - Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。
グラフが現在の勾配を混合する能力を定量化する計量法を提案する。
そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
論文 参考訳（メタデータ） (2022-04-13T15:54:35Z) - Mime: Mimicking Centralized Stochastic Algorithms in Federated Learning [102.26119328920547]
フェデレートラーニング(FL)は、異なるクライアントにわたるデータの均一性のため、最適化の難しい設定である。
本稿では,クライアントのドリフトを緩和し,任意の集中最適化アルゴリズムを適用するアルゴリズムフレームワークであるMimeを提案する。
論文 参考訳（メタデータ） (2020-08-08T21:55:07Z) - Quantized Decentralized Stochastic Learning over Directed Graphs [54.005946490293496]
有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。
モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。
本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-23T18:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。