論文の概要: Spectrally Targeted Muon

• arxiv url: http://arxiv.org/abs/2610.10965v1
• Date: Wed, 07 Oct 2026 22:35:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.691926
• Title: Spectrally Targeted Muon
• Title（参考訳）: 分光ターゲットミューオン
• Abstract要約: スペクトル目標ミューオン(Spectrally Targeted Muon)を導入し、これは閾値$$以上の特異値のみを直交する。 CIFAR-10とNanoGPTの速度ランでこれらの変種を評価し、勾配、更新、および重量行列の有効ランクを追跡した。 また、ウェイト行列の等スペクトル多様体の接空間との更新のアライメントという新しい計量も提示する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Muon optimizer orthogonalizes each update matrix, setting all of its singular values to one, and has proven highly effective for training large language models. It remains unclear, however, whether this success comes from amplifying small singular directions that gradient descent neglects or from suppressing large, degenerate directions that disrupt training. We introduce Spectrally Targeted Muon, which orthogonalizes only the singular values above or below a threshold $τ$, so that varying $τ$ interpolates between normalized SGD and Muon. It isolates the relevant singular subspaces with projections computed by Newton-Schulz iteration on a shifted Gram matrix, so no SVD is needed. We evaluate these variants on the CIFAR-10 and NanoGPT speedruns, tracking the effective rank of gradient, update, and weight matrices and a new metric, the alignment of updates with the tangent space of the weight matrix's isospectral manifold. We find three things. First, the small singular values of the momentum are not noise. Orthogonalizing everything except the few largest singular values of each matrix nearly matches Muon while touching only a small fraction of the momentum, whereas orthogonalizing only the top falls well short even though it holds almost all of it. On language models every momentum singular value is far below one, so targeted orthogonalization can only amplify, and Muon wins by making directions that are too small to train on at their raw scale trainable. Second, shrinking the largest singular values is what keeps the parameter spectrum flat; this is cheap, and it is not what drives the loss. Third, AdamW differs from Muon mainly in how slowly it builds structure, which explains its slower start and why warmup helps AdamW but only hurts Muon.
• Abstract（参考訳）: Muonオプティマイザは各更新行列を直交化し、その特異値をすべて1に設定し、大きな言語モデルのトレーニングに非常に効果的であることが証明されている。 しかし、この成功は勾配降下が無視する小さな特異な方向の増幅によるものなのか、あるいはトレーニングを妨害する大きな退化方向の抑制によるものなのかは定かではない。 スペクトル目標ミューオン(Spectrally Targeted Muon)は、閾値$τ$以上の特異値のみを直交化することにより、正規化されたSGDとミューオンの間の補間を$τ$で変化させる。 シフトしたグラム行列上でニュートン・シュルツの反復によって計算される射影を伴う関連する特異部分空間を分離するので、SVDは不要である。 我々はCIFAR-10とNanoGPTの速度ラン上でこれらの変種を評価し、勾配、更新、およびウェイト行列の有効ランクと新しい計量、重み行列の等スペクトル多様体の接空間との整合性を追跡する。 3つの発見がある。 まず、運動量の小さな特異値はノイズではない。 各行列の数少ない最大の特異値を除いて全てを直交化することは、運動量のごく一部にしか触れず、ミューオンとほぼ一致する。 言語モデルでは、すべての運動量特異値は1よりはるかに低いので、対象の直交化は増幅できるだけであり、ムオンは生のスケールで訓練するには小さすぎる方向で勝利する。 第二に、最大の特異値の縮小はパラメータスペクトルを平らに保ち、これは安価であり、損失を引き起こすものではありません。 第三に、AdamWはMuonと大きく異なり、構造の構築が遅いため、起動が遅くなり、なぜウォームアップがAdamWに役立ちますが、Muonだけを傷つけるのかを説明しています。

関連論文リスト

• An Isotropy-Preserving Spectral Cap for Muon: Theory and Three Case Studies [3.9617623336464636]
  ミューオンと関連する行列記号は、大規模言語モデルの事前訓練にますます使われている。 本報告では,単一理想化仮定に基づく統一フレームワークを提案する。 我々は,NanoGPTフィードフォワードプロジェクション,64-expertmix-of-expertsルータ,およびbf16 FlashAttentionブロックのクエリ/キープロジェクションの3つのシステムについて検討した。
  論文  参考訳（メタデータ） (2026-07-22T05:39:00Z)
• Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
  EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。 これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。 アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
  論文  参考訳（メタデータ） (2026-06-24T15:40:26Z)
• The Spectral Dynamics and Noise Geometry of Muon [0.6335848702857036]
  Muon は行列勾配 $G=UVtop$ を極係数 $UVtop$ に置き換える。 この操作によって生成される最適化バイアスについて検討する。
  論文  参考訳（メタデータ） (2026-06-07T00:51:30Z)
• Why Muon Outperforms Adam: A Curvature Perspective [49.85900116602357]
  Muonは、大規模な言語モデルトレーニングにおいて、Adamよりもトレーニング効率を約2倍改善する。 私たちの研究は、Adamに対するMuonの優位性を曲率の観点から軽視する第一歩を踏み出します。
  論文  参考訳（メタデータ） (2026-06-03T09:40:30Z)
• Spectral Flattening Is All Muon Needs: How Orthogonalization Controls Learning Rate and Convergence [15.754779716816174]
  ムオンの最大安定ステップサイズは、最大ではなく、勾配の平均特異値でスケールすることを示す。 我々はMuonを事前条件付き勾配法として再評価し、Kronecker-factored curvatureモデルの下で有効収束係数を改善することを示す。
  論文  参考訳（メタデータ） (2026-05-13T06:54:01Z)
• MuonQ: Enhancing Low-Bit Muon Quantization via Directional Fidelity Optimization [7.243820893114047]
  指向性最適化の原理に基づく低ビットMuonトレーニングフレームワークを提案する。 4ビット精度のMuonQは、トレーニング損失と下流タスク精度の両方において、フル精度のMuonと密接に一致している。 私たちのコードはhttps://github.com/YupSueng/MuonQ.comで公開されています。
  論文  参考訳（メタデータ） (2026-05-12T01:31:32Z)
• Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
  正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。 ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。 また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
  論文  参考訳（メタデータ） (2026-05-11T19:42:48Z)
• The Newton-Muon Optimizer [2.1583596008762935]
  我々は,Muonの設計イテレーションに新たな光を放つ代理モデルを導入する。 Newton-Muonと呼ばれる新しい最適化手法は、標準のMuonを暗黙のNewton-typeメソッドとして解釈できることを示している。
  論文  参考訳（メタデータ） (2026-04-01T23:29:08Z)
• Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
  線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。 解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-20T00:08:31Z)
• Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
  近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。 アダム型学習法は,大規模言語モデルの最小化よりも優れている。
  論文  参考訳（メタデータ） (2025-12-18T14:38:39Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。