論文の概要: BMuon: Budgeting Muon's Spectral Geometry for Structured Compressibility

• arxiv url: http://arxiv.org/abs/2610.23571v1
• Date: Fri, 16 Oct 2026 14:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.978895
• Title: BMuon: Budgeting Muon's Spectral Geometry for Structured Compressibility
• Title（参考訳）: BMuon: 構造圧縮性に対するムオンのスペクトル幾何学の予算化
• Abstract要約: 予算ムーン(BMuon)は、ムオンのスペクトル幾何学を修正し、隠れチャネルが共通の割り当て予算を競うようにした。 我々の主要なスパーシティ制御は、設定依存のスパーシティペナルティ係数ではなく、解釈可能なグローバルチャネル割り当て予算である。 BMuonは、徐々に構造化されたプルーニングの下でムオンよりも改善し、学習されたアロケーションは、重量等級よりも効果的なプルーニング基準を提供する。
• 参考スコア（独自算出の注目度）: 23.73350089744599
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Muon has emerged as a strong optimizer for neural network training and admits an interpretation as steepest descent under a spectral-norm geometry. Yet we find that Muon-trained Transformers can degrade sharply when their MLP hidden channels are pruned after training. To reconcile Muon's optimization performance with structured compressibility, we introduce Budget Muon (BMuon), which modifies Muon's spectral geometry so that hidden channels across blocks compete for a shared allocation budget. The resulting oracle is exactly normalized steepest descent under a family of norms that interpolate between Muon's geometry and structured sparse geometries. Our principal sparsity control is an interpretable global channel-allocation budget, rather than a setting-dependent sparsity-penalty coefficient. For linear factorization models, we show that Muon admits minimum-cost exact representations with redundant hidden width, whereas under the BMuon oracle geometry and a sufficiently scarce budget, every minimum-cost representation is width-minimal. For practical training, we derive a minorization-maximization surrogate for the exact allocation problem. On ImageNet-1K with ViT-S/16, BMuon improves over Muon under gradual structured MLP pruning, and its learned allocations provide a more effective pruning criterion than weight magnitude. On a 1B-parameter LLaMA-style model trained on FineWeb, BMuon improves over Muon under post-training MLP channel pruning.
• Abstract（参考訳）: Muonはニューラルネットワークトレーニングの強力なオプティマイザとして登場し、スペクトルノルム幾何学の下では最も急降下と解釈されている。 しかし,Muonでトレーニングしたトランスフォーマーは,MLPを隠蔽したチャネルをトレーニング後にプルーニングした場合,急激に劣化する可能性がある。 本研究では,Muonの最適化性能を構造化圧縮性と整合させるため,Muonのスペクトル幾何学を改良したBudget Muon(BMuon)を導入し,ブロック間の隠れチャネルが共通の割り当て予算を競うようにした。 結果として生じるオラクルは、ムオンの幾何学と構造されたスパース幾何学の間の補間するノルムの族の下で、正確に正規化された最も急勾配である。 我々の主要なスパーシリティ制御は、設定依存のスパーシリティ-ペナルティ係数ではなく、解釈可能なグローバルチャネル割り当て予算である。 線形因数分解モデルでは、ムオンは冗長な隠蔽幅を持つ最小コストの正確な表現を認め、一方、BMuonのオラクル幾何学と十分に少ない予算の下では、すべての最小コストの表現は幅最小である。 実際のトレーニングでは、正確な割り当て問題に対して、最小化-最大化サロゲートを導出する。 ViT-S/16 を用いた ImageNet-1K では,段階的に構造化された MLP プルーニングにおいて,BMuon は Muon よりも向上し,学習されたアロケーションは,重量等級よりも効率的なプルーニング基準を提供する。 FineWebでトレーニングされた1BパラメータLLaMAスタイルのモデルでは、後トレーニングのMLPチャネルプルーニングにおいて、BMuonはMuonよりも改善される。

関連論文リスト

• Musec: MomentUm SpEctral Clipping for Stable Muon-type Training [24.72819846755016]
  ミューオンは、損失のスパイクと重量の変動が原因で、スペクトル成長のために不安定性を訓練する傾向にある。 モーメントUmMusecは運動量行列の特異値を約1に切断し、基礎となるスペクトル構造を保存する。 経験的に、Soft Musecは、幅広い学習率とモデルサイズにわたる既存のMuon変種に対するトレーニングを一貫して改善している。
  論文  参考訳（メタデータ） (2026-09-10T15:00:01Z)
• Spectral Allocation: Why Muon Outperforms Adam, and How to Improve Muon [12.170977868230622]
  Muon のような直交オプティマイザは、Adam と比較して大きな言語モデルの事前訓練を大幅に加速させることができる。 本研究では,トランスフォーマーの損失景観のスペクトル探索解析を通じてこれを考察する。 完全なSAMuonは低ランクランダム化SVDを用いて測定されたプロファイルに従い、単純化されたSAMuon-liteはランク1の電力反復による2レベル近似を使用する。
  論文  参考訳（メタデータ） (2026-08-26T16:41:12Z)
• Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
  正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。 ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。 また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
  論文  参考訳（メタデータ） (2026-05-11T19:42:48Z)
• Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
  Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。 メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
  論文  参考訳（メタデータ） (2026-04-11T00:27:40Z)
• NuMuon: Nuclear-Norm-Constrained Muon for Compressible LLM Training [50.27276603708547]
  フルランク更新を行うにもかかわらず,無音訓練モデルでは重み行列の低ランク構造が顕著に示され,標準パイプラインで容易に圧縮可能であることを示す。 更新方向の核ノルム制約でミューオンを増強し,低ランク構造への学習重み付けをさらに制限するNuMuonを提案する。
  論文  参考訳（メタデータ） (2026-03-04T00:10:14Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。 密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。 また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。