論文の概要: Monarch-Muon: Structure-Aware Muon for Fast and Memory-Efficient Pretraining
- arxiv url: http://arxiv.org/abs/2610.17429v1
- Date: Mon, 12 Oct 2026 21:41:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 19:00:44.402449
- Title: Monarch-Muon: Structure-Aware Muon for Fast and Memory-Efficient Pretraining
- Title（参考訳）: Monarch-Muon: 高速かつメモリ効率の良い事前トレーニングのための構造対応ミューオン
- Abstract要約: 我々は、モナール因子によってパラメータ化される構造化行列認識であるモナール・ムーンを提案する。
結果として、重み、勾配、状態が減少し、小さな独立した更新サブプロブレムが露出する。
品質面では、Monarch-MuonはMonarch-AdamWを固定構造で改善する。
- 参考スコア（独自算出の注目度）: 92.01217521476444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training large language models is constrained by both wall-clock time and memory footprint, and recent matrix-aware optimizers sharpen this tradeoff: Muon can improve optimization but its dense polar update remains expensive. We propose Monarch-Muon, a structured matrix-aware optimizer for weights parameterized by Monarch factors. The resulting structure reduces weights, gradients, and optimizer state, and exposes small independent update subproblems in place of a single dense orthogonalization; we formalize this through a blockwise trust-region interpretation. In quality runs, Monarch-Muon improves over Monarch-AdamW at fixed structure: 3.06 vs. 3.09 in the dense 257M model and 2.68 vs. 2.77 in the 1B MoE model; the two-block MoE variant also matches dense AdamW while using 15% fewer active and 25.4% fewer total parameters. In 6.89B-parameter systems measurements, Monarch-Muon reduces peak memory from 68.9 to 52.9 GB, Muon optimizer state from 14.60 to 6.77 GB, and the Muon optimizer step from 1288 to 304 ms.
- Abstract（参考訳）: 大規模な言語モデルのトレーニングは、ウォールクロック時間とメモリフットプリントの両方によって制限されている。
我々は、モナール因子によってパラメータ化される重みに対する構造化行列対応最適化器であるモナール・ムーンを提案する。
結果として得られた構造は、重み、勾配、オプティマイザ状態を減らし、単一の高密度直交化の代わりに小さな独立更新サブプロブレムを公開する。
モナール・ムーンは、モナール・アダムWを、密度257Mモデルで3.06対3.09、密度2.68対2.77の2B MoEモデルで改善した。
6.89Bパラメータ測定では、モナーク・ムーンはピークメモリを68.9から52.9GBに、ムーン・オプティマイザの状態を14.60から6.77GBに、ムーン・オプティマイザのステップを1288から304msに減らした。
関連論文リスト
- Musec: MomentUm SpEctral Clipping for Stable Muon-type Training [24.72819846755016]
ミューオンは、損失のスパイクと重量の変動が原因で、スペクトル成長のために不安定性を訓練する傾向にある。
モーメントUmMusecは運動量行列の特異値を約1に切断し、基礎となるスペクトル構造を保存する。
経験的に、Soft Musecは、幅広い学習率とモデルサイズにわたる既存のMuon変種に対するトレーニングを一貫して改善している。
論文 参考訳（メタデータ） (2026-09-10T15:00:01Z) - Where Should Optimizer State Live? Tiered State Allocation for Memory-Efficient Mixture-of-Experts Training [0.0]
我々は,MoEの3つのパラメータ群が,同じ状態を受信すべきではないほど,大きさと勾配の統計量で十分異なるという観測に基づいて構築されたSkewAdamについて検討した。
SkewAdamはAdamW(126.8)、Muon(120.2)、Lion (393.7)に先駆けて108.4に到達し、ルータの負荷バランスは均一な床の1%以内に収まる。
論文 参考訳（メタデータ） (2026-07-21T12:47:15Z) - Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。
メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
論文 参考訳（メタデータ） (2026-04-11T00:27:40Z) - NuMuon: Nuclear-Norm-Constrained Muon for Compressible LLM Training [50.27276603708547]
フルランク更新を行うにもかかわらず,無音訓練モデルでは重み行列の低ランク構造が顕著に示され,標準パイプラインで容易に圧縮可能であることを示す。
更新方向の核ノルム制約でミューオンを増強し,低ランク構造への学習重み付けをさらに制限するNuMuonを提案する。
論文 参考訳（メタデータ） (2026-03-04T00:10:14Z) - NorMuon: Making Muon more efficient and scalable [71.49702449498085]
我々はアダムの後継としてノームーンを提案する。
我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
論文 参考訳（メタデータ） (2025-10-07T01:13:41Z) - Effective Quantization of Muon Optimizer States [6.256712531304834]
ブロックワイド量子化を用いた8ビットミューオンを導入し,線形スキームと動的スキームの両方をサポートする。
8ビットのMuonは、両方の安定性を維持しつつ、フル精度のMuonに比べてメモリフットプリントが74%削減されていることを実証した。
大規模な実験では、8ビットのMuonがMuonのパフォーマンスと密に一致し、AdamWと8ビットのAdamWが4B FineWebトークン上で1.6Bモデルの事前トレーニングを行う。
論文 参考訳（メタデータ） (2025-09-27T04:31:11Z) - Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models [192.5620883942846]
ネモトロン-Hは8Bと56B/47Bハイブリッド・マンバ・トランスフォーマーのファミリーである。
私たちは共通のTransformerモデルアーキテクチャにおけるほとんどの自己注意レイヤをMambaレイヤに置き換えます。
Nemotron-Hモデルは、他の同様のサイズのオープンソーストランスフォーマーモデルと比較して、精度が良いか低いかのどちらかを提供する。
論文 参考訳（メタデータ） (2025-04-04T17:41:58Z) - Muon is Scalable for LLM Training [50.68746986439438]
MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。
我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。
メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
論文 参考訳（メタデータ） (2025-02-24T09:12:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。