論文の概要: Does Muon Need Fine-Grained Spectral Shaping?
- arxiv url: http://arxiv.org/abs/2610.07497v1
- Date: Mon, 05 Oct 2026 23:02:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.701306
- Title: Does Muon Need Fine-Grained Spectral Shaping?
- Title（参考訳）: ムーンは微細なスペクトル形状を必要とするか?
- Abstract要約: 本稿では,2バンドのスペクトル再重み付けフレームワークであるBulkBoostを紹介する。
固定分割の場合、この理論は、バルクへの移動重量が損失を減少させる一階条件を与える。
Pythia-14Mから410Mと6つのコーパスにまたがる30以上の事前トレーニング設定では、2バンドの再重み付けはFreonのきめ細かいパワーロープロファイルと競合し、Spectraより優れている。
- 参考スコア（独自算出の注目度）: 28.019974922559275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Muon combines current and past gradients into matrix momentum. For $M=UΣV^\top$, the idealized polar update $Q=UV^\top$ gives every singular direction the same weight. We refer to this as the flat profile. Several recent optimizers replace this flat profile with fine-grained spectral maps that give each direction its own gain. We ask how much of this spectral detail a Muon update needs. Our spectral diagnostics show that approximately $94$--$97\%$ of measured singular modes lie below an estimated noise edge, yet collectively align positively with a reference gradient. We introduce BulkBoost, a two-band spectral reweighting framework with fixed-rank and noise-calibrated variants. The latter uses split-minibatch gradient differences to calibrate a Marchenko--Pastur reference edge for Muon's Nesterov input, separating the bulk below the edge from the spikes above it. Both variants increase the bulk's relative weight through one shared gain while preserving the Frobenius norm of each matrix's unreweighted direction. For a fixed partition, our theory gives the first-order condition under which moving weight toward the bulk lowers the loss. It also quantifies the fraction of the maximal first-order improvement rate, over all per-mode reallocations, that two bands can capture. Across 30 continued-pretraining settings spanning Pythia-14M to 410M and six corpora, two-band reweighting is competitive with the fine-grained power-law profile of Freon and outperforms Spectra. Measured against Muon's flat profile, Freon reduces final loss by $0.022\%$ of the pre-adaptation loss on average, whereas the two-band variants achieve reductions of $0.073$--$0.147\%$. These observations suggest that useful departures from the flat profile are surprisingly low-dimensional: a single bulk-to-spike gain captures at least as much benefit as the fine-grained spectral profiles.
- Abstract（参考訳）: ミューオンは、現在の勾配と過去の勾配を行列運動量に結合する。
M=UΣV^\top$ に対して、理想化された極更新$Q=UV^\top$ はすべての特異方向を同じ重みを与える。
これを平らなプロファイルと呼ぶ。
いくつかの最近のオプティマイザは、この平坦なプロファイルを、それぞれの方向に独自の利得を与える微細なスペクトルマップで置き換えている。
このスペクトルのどれ程がMuonのアップデートが必要なのか尋ねる。
スペクトル診断では、測定された特異モードの約9,4$--97\%は、推定ノイズエッジよりも低く、基準勾配と正に一致していることが示された。
本稿では,2バンドのスペクトル再重み付けフレームワークであるBulkBoostを紹介する。
後者はスプリット・ミニバッチ勾配の差を使って、ムーンのネステロフ入力に対してマーチンコ-パストゥル基準エッジを校正し、その上のスパイクからエッジの下にあるバルクを分離する。
どちらの変種も、各行列の非重み付き方向のフロベニウスノルムを保ちながら、バルクの相対重みを1つの共有利得で増加させる。
固定分割の場合、この理論は、バルクへの移動重量が損失を減少させる一階条件を与える。
また、2つのバンドが捕捉できるすべてのモード単位の転位よりも、最大1次改善率の分数を定量化する。
Pythia-14Mから410Mと6つのコーパスにまたがる30以上の事前トレーニング設定では、2バンドの再重み付けはFreonのきめ細かいパワーロープロファイルと競合し、Spectraより優れている。
Muonのフラットプロファイルに対して測定されたFreonは、平均的な事前適応損失の0.022\%$で最終損失を減らし、2バンドの変種は0.073$--0.147\%$で減らした。
これらの観測から、平面からの有用な出発は驚くほど低次元であることが示唆され、単一のバルク・ツー・スパイクゲインは、微細なスペクトルプロファイルよりも少なくとも多くの利益を得られる。
関連論文リスト
- ORCA: The Annealed Spectral Conditioning Optimizer for Faster, Better LLM Training [53.2695917834445]
ORCA(Orthogonal Regularization, Cooled Regularization, Cooled After Regularization, ORCA)は,訓練の初期段階において,強いが一時的なソフトな直交正規化を適用して除去する最小限の介入である。
ORCAはMuonよりも最終検証損失が低い。
ムオンに対する損失減少は、アダムに対するムオンの損失減少と一致するか、あるいは超える。
論文 参考訳（メタデータ） (2026-10-05T10:47:59Z) - Clipped or Unclipped? Finite-Sample Trade-offs for Averaged SGD under Heavy-Tailed Noise [66.13091490213743]
グラディエントクリッピングはトレーニングを安定させるために広く用いられているが、平均的なSGDの統計的精度を改善する必要はない。
有限条件の$p$-th モーメント,$pge2$ の条件下で, クリッピングおよび非クリッピングのPolyak-Ruppert平均 SGD の比較を導出した。
我々の主な結果は、$p>2$の場合、ガウス項が未開偏差境界を独占する明確な精度と信頼条件を与える。
論文 参考訳（メタデータ） (2026-09-26T21:47:14Z) - Beyond the Matrix Sign: Quadratic Spectral Descent [6.589542614722917]
最適更新の特異値と特異方向の両方を曲率で変化させることができることを示す。
GPTプレトレーニングの実験では、QSDはムーンと最近のムーンの変種に対する検証損失を一貫して改善している。
論文 参考訳（メタデータ） (2026-09-07T15:07:24Z) - An Isotropy-Preserving Spectral Cap for Muon: Theory and Three Case Studies [3.9617623336464636]
ミューオンと関連する行列記号は、大規模言語モデルの事前訓練にますます使われている。
本報告では,単一理想化仮定に基づく統一フレームワークを提案する。
我々は,NanoGPTフィードフォワードプロジェクション,64-expertmix-of-expertsルータ,およびbf16 FlashAttentionブロックのクエリ/キープロジェクションの3つのシステムについて検討した。
論文 参考訳（メタデータ） (2026-07-22T05:39:00Z) - Muon$^p$: Muon with Fractional Spectral Powers [3.223825674658464]
Muon はますます広く使われる勾配であり、$G=USVtop$ を極係数 $UVtop$ に置き換える。
代わりに、有理な$pin(0,1)$に対して、分数スペクトルパワー更新$USpVtop$を使用するMuon$p$を導入する。
以上の結果から, 特異スペクトルの保存が大きな利得をもたらす可能性について重要な知見が得られ, それらを実現するための原則的方法が導入された。
論文 参考訳（メタデータ） (2026-06-11T19:48:12Z) - The Spectral Dynamics and Noise Geometry of Muon [0.6335848702857036]
Muon は行列勾配 $G=UVtop$ を極係数 $UVtop$ に置き換える。
この操作によって生成される最適化バイアスについて検討する。
論文 参考訳（メタデータ） (2026-06-07T00:51:30Z) - Can Entry-Wise Clipping Give Spectral Control of Stochastic Gradients? [14.136955342888987]
損失スパイクのようなトレーニングの不安定性は、しばしば勾配ノイズの結果である。
このトレードオフはバランスが取れます。
スペクトル正規化の前にエントリワイドクリッピングを適用すると、Muon上には$sim2%$トークンセーブが生成される。
論文 参考訳（メタデータ） (2026-05-26T22:12:42Z) - Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。
Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
論文 参考訳（メタデータ） (2026-05-26T02:48:34Z) - Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。
ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。
また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
論文 参考訳（メタデータ） (2026-05-11T19:42:48Z) - Nonlinear Stochastic Gradient Descent and Heavy-tailed Noise: A Unified Framework and High-probability Guarantees [56.80920351680438]
本研究では,重音の存在下でのオンライン学習における高確率収束について検討する。
ノイズモーメントを仮定することなく、幅広い種類の非線形性を保証する。
論文 参考訳（メタデータ） (2024-10-17T18:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。