論文の概要: An Isotropy-Preserving Spectral Cap for Muon: Theory and Three Case Studies
- arxiv url: http://arxiv.org/abs/2607.19771v1
- Date: Wed, 22 Jul 2026 05:39:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:37.984722
- Title: An Isotropy-Preserving Spectral Cap for Muon: Theory and Three Case Studies
- Title（参考訳）: ムーンの等方性保存スペクトルキャップの理論と3症例
- Abstract要約: ミューオンと関連する行列記号は、大規模言語モデルの事前訓練にますます使われている。
本報告では,単一理想化仮定に基づく統一フレームワークを提案する。
我々は,NanoGPTフィードフォワードプロジェクション,64-expertmix-of-expertsルータ,およびbf16 FlashAttentionブロックのクエリ/キープロジェクションの3つのシステムについて検討した。
- 参考スコア（独自算出の注目度）: 3.9617623336464636
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Muon and related matrix-sign optimizers are increasingly used to pre-train large language models, but their effect on the internal geometry of individual weight matrices is not well understood. This preliminary report proposes a unified framework built on a single idealizing assumption -- exact scale invariance of the loss under weight rescaling, which holds approximately in normalization-heavy networks. Under this assumption, plain SGD carries a built-in 1/||W|| brake on its update size, whereas Muon's matrix-sign step removes that brake, so both the Frobenius and spectral norms drift outward faster (t^{1/2} versus t^{1/4}). We further observe that the spectral-norm perturbation has a non-negative second-order term. This implies that a lightweight "spectral cap" -- which projects out only the first-order growth of the single top singular direction from each update -- can control the output covariance W K_X W^T without freezing training: the weight keeps learning through non-top directions, top-direction rotation, and top switching. We relate this cap to the min-entropy (H-infinity) of the singular-value spectrum. We then study three systems trained with Muon: a nanoGPT feed-forward projection, a 64-expert mixture-of-experts router, and the query/key projections of a bf16 FlashAttention block. In each case the cap increases isotropy and, at the margins -- a router collapsing to a single expert, and the near-divergence of one attention head -- prevents a concrete failure, while leaving validation loss essentially unchanged. We emphasize that the scale-invariance assumption is strong and that these small-scale results are preliminary; comments are welcome.
- Abstract（参考訳）: ミューオンと関連する行列符号オプティマイザは、大規模言語モデルの事前学習にますます利用されているが、個々の重み行列の内部幾何学への影響はよく理解されていない。
この予備報告では、単一理想化仮定に基づいて構築された統一されたフレームワーク - 重み付き再スケーリングによる損失の正確なスケール不変性 - を提案する。
この仮定では、平らなSGDはその更新サイズに1/|W||ブレーキを内蔵しているが、ミューンの行列符号ステップはそのブレーキを除去するので、フロベニウスとスペクトルノルムはどちらもより速くドリフトする(t^{1/2} 対 t^{1/4})。
さらに、スペクトル-ノルム摂動は負の2次項を持たないことが観察される。
このことは、ライトウェイトな"スペクトルキャップ" -- 更新毎に単一のトップ特異方向の1次成長のみを投影する -- が、トレーニングを凍結せずに出力共分散WK_X W^Tを制御できることを意味している。
この上限を特異値スペクトルのミンエントロピー(H-無限性)に関連付ける。
次に,NanoGPTフィードフォワードプロジェクション,64-expertmix-of-expertsルータ,およびbf16 FlashAttentionブロックのクエリ/キープロジェクションの3つのシステムについて検討する。
いずれの場合も、キャップはアイソトロピーを増大させ、ルータ(ルータ)が1人の専門家に崩壊し、1つのアテンションヘッドがほぼ分散している)は具体的な障害を防ぎ、バリデーションの損失は基本的に変化しない。
我々は、スケール不変性の仮定が強く、これらの小さな結果が予備的なものであることを強調し、コメントを歓迎する。
関連論文リスト
- Beyond Negative-Ridge Endpoints: Mixed-Sign Spectral Regularization via Negative-Shifted Gradient Descent [11.327284468812948]
負シフト勾配降下は構造的制約から逃れることを示す。
フィルタは、wil-be極で滑らかで、混合符号対応である。
有限グリッドのホールドアウト不等式は、分離をバリデーション選択アルゴリズムに転送する。
論文 参考訳（メタデータ） (2026-07-24T16:42:46Z) - The Spectral Dynamics and Noise Geometry of Muon [0.6335848702857036]
Muon は行列勾配 $G=UVtop$ を極係数 $UVtop$ に置き換える。
この操作によって生成される最適化バイアスについて検討する。
論文 参考訳（メタデータ） (2026-06-07T00:51:30Z) - Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。
Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
論文 参考訳（メタデータ） (2026-05-26T02:48:34Z) - From Latent Space to Training Data: Explainable Specialization in Minimal MLPs [0.47554242259005197]
トレーニングバイアスが隠れたニューロンを最小の1つの隠れた層に特化させるかどうかを検討する。
均一にサンプリングされた1次元データセットの実験では、N = 3 から N = 100 までの安定なパターンが480個の制御されたランで示されている。
論文 参考訳（メタデータ） (2026-05-25T15:18:22Z) - SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - Muown: Row-Norm Control for Muon Optimization [41.541871767555484]
Muonは、言語モデルの事前トレーニングにおいてAdamWと強く競合する。
Muownは、Muon、SOAP、AdamW、Lionの複雑さを改善します。
論文 参考訳（メタデータ） (2026-05-11T16:26:06Z) - A Nonasymptotic Theory of Gain-Dependent Error Dynamics in Behavior Cloning [4.822598110892847]
位置制御ロボットの動作クローニングポリシーは、基礎となるPDコントローラの閉ループ応答を継承する。
我々は、ゲイン依存閉ループ力学により、ガウス以下の独立な動作誤差が伝播することを示す。
論文 参考訳（メタデータ） (2026-04-15T23:53:09Z) - Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold [0.0]
一般化には、適応に固有のテクスタイニソトロピックな修正が必要であり、これは溶液の接空間にノイズを誘導する。
この研究は、モジュラー演算タスクにおけるAdamWのダイナミクスを分析し、一般化から記憶への遷移を制御するスペクトルゲーティングのメカニズムを明らかにする。
論文 参考訳（メタデータ） (2026-03-16T16:18:18Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳（メタデータ） (2026-02-26T15:27:53Z) - Deriving Decoder-Free Sparse Autoencoders from First Principles [0.0]
理論はガウス混合モデルにおける対数決定式に類似した体積制御なしで崩壊を予測する。
ボリューム制御のためのLSE目標とInfoMax正則化を備えた単一層エンコーダで理論をインスタンス化する。
実験は理論の予測を裏付ける。
論文 参考訳（メタデータ） (2026-01-10T08:13:58Z) - Error Feedback for Muon and Friends [80.90330715662961]
我々は、厳密な収束保証を備えた最初の通信効率非ユークリッドLMOであるEF21-Muonを紹介する。
我々の理論は、非ユークリッドの滑らかさとより一般的な$(L0, L1)$-smooth設定をカバーし、最もよく知られたユークリッドの速度と一致し、適切なノルム選択の下でより高速な収束を可能にする。
論文 参考訳（メタデータ） (2025-10-01T08:20:08Z) - Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。
学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。
また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
論文 参考訳（メタデータ） (2025-02-14T03:26:57Z) - Debiased Sinkhorn barycenters [110.79706180350507]
最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。
このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。
両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
論文 参考訳（メタデータ） (2020-06-03T23:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。