論文の概要: Tune the Baseline First: Most of Muon's Scaled Weight Decay Gain Is a Tuning Gap, but Its Small Real Advantage Grows With Model Size

• arxiv url: http://arxiv.org/abs/2611.02529v1
• Date: Mon, 02 Nov 2026 04:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.564644
• Title: Tune the Baseline First: Most of Muon's Scaled Weight Decay Gain Is a Tuning Gap, but Its Small Real Advantage Grows With Model Size
• Title（参考訳）: ムーンの体重減少は、モデルサイズで大きくなりつつある
• Abstract要約: ムオン(Muon-SW)のスケールドウェイト崩壊は、一定のデカップリングウェイト崩壊よりも効率的に言語モデルを訓練することが報告されている。 MAI-Base-2プロトコルで比較を再実行します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaled weight decay for Muon (Muon-SW) has been reported to train language models more efficiently than constant decoupled weight decay, but such comparisons usually reuse one learning-rate (LR) and weight-decay (WD) setting for both methods. We re-run the comparison under the MAI-Base-2 protocol: LR and WD are tuned jointly through their product for each method, on a source-scaled mixture-of-experts (MoE) scaling ladder (1.9M to 15M active parameters) that holds tokens per active parameter and data repetition fixed across sizes. We find: (1) Most of the gain is a tuning gap. At the shared setting Muon-SW wins by 0.035 bits per byte (BPB), a 1.52x compute saving; after both methods are tuned, the gap is 0.0026 BPB (95% CI [0.0018, 0.0034]), a 1.03x saving, so about 90% of the advantage disappears. (2) The small advantage that remains is real: at the smallest size, all four paired seeds favour Muon-SW at the tuned settings. (3) That advantage grows with model size: across an 8x range of active parameters, the tuned gap rises from 0.0036 to 0.0051 BPB while the untuned gap shrinks from 0.035 to 0.024, so the surviving share rises from about 10% to 21%. (4) The best weight decay moves with scale: the optimal LRWD product grows for both methods, faster for Muon-SW (ratio 1.40 to 1.91), and a law fitted on the two smallest sizes overshoots the third by 1.3-1.5x, costing up to 0.002 BPB. The whole study runs on one NVIDIA T4 GPU; we release the code and all run results.
• Abstract（参考訳）: Muon (Muon-SW) のスケールド・ウェイト・デポジット(英語版)は、一定のデカップリングされたウェイト・デポジット・デポジットよりも効率的に言語モデルを訓練することが報告されているが、そのような比較は通常、両方の手法で1つの学習速度 (LR) とウェイト・デポジット (WD) のセッティングを再利用している。 我々は,MAI-Base-2プロトコルで比較を行った。LRとWDは,各メソッドに対して,アクティブパラメータあたりのトークンを保持するソーススケールのミックスオブエキスパート(MoE)スケーリングラグ(1.9M〜15Mアクティブパラメータ)と,サイズ毎に固定されたデータ繰り返しを保持する。 1) ゲインの大部分はチューニングギャップです。 共有設定では、Muon-SWは1バイト当たり0.035ビット(BPB)で勝利し、計算時間は1.52倍になる。どちらの方法も調整した後、ギャップは0.0026PB(95% CI [0.0018, 0.0034])となり、1.03倍の節約になるので、利点の約90%は消滅する。 2) 残る小さな利点は、最小の4つのペアの種子は、調整された設定でミューオンSWを好む。 (3) 有効パラメータの8倍の範囲で調整されたギャップは0.0036から0.0051BPBに増加し、未調整のギャップは0.035から0.024に減少し、残存するシェアは10%から21%に上昇する。 (4) 最適なLRWD生成物は両手法で成長し、Muon-SW (比1.40から1.91) ではより速くなり、3分の1を1.3-1.5xで上回り、最大0.002PBの費用がかかる。 調査全体は1つのNVIDIA T4 GPUで動作します。

関連論文リスト

• Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
  Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。 LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
  論文  参考訳（メタデータ） (2026-09-30T16:47:35Z)
• Depth and Scale in the Sub-150M Regime: JugnuLM-53M vs JugnuLM-110M [0.0]
  53.5Mから109.7Mに拡張した。 BLiMP 78.1 -> RMS 81.3, ARC-Easy 51.4 -> 52.5, WikiText-2 byte-perplexity 2.04 -> 1.95 - そして81.3%のBLiMPは基本的にGPT-X2-125Mと約12%のパラメータで一致している。
  論文  参考訳（メタデータ） (2026-09-13T18:17:46Z)
• Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
  Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。 重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。 補償は普遍的よりもトークン効率が高く低予算の勝利である。
  論文  参考訳（メタデータ） (2026-08-03T19:44:08Z)
• Variable Bit-width Quantization: Learning Per-Group Precision for "Bigger-but-Smaller" Language Models [0.0]
  可変ビット幅量子化(VBQ)を導入する。 64重みの連続した群が1,2,4,8ビットから独自の分解能を学習する訓練時間法である。 バイト単位の品質では、VBQはFP16よりも3.9-8.4倍効率が高い。
  論文  参考訳（メタデータ） (2026-07-03T02:42:04Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity [56.0251572416922]
  状態空間モデル(SSM)は、シーケンシャルモデリングのためのトランスフォーマーの効率的な代替手段として登場した。 本稿では,Mambaブロックのモダリティ特異的パラメータ化により,モダリティを意識した疎結合を実現する新しいSSMアーキテクチャを提案する。 マルチモーダル事前学習環境におけるMixture-of-Mambaの評価を行った。
  論文  参考訳（メタデータ） (2025-01-27T18:35:05Z)
• Lillama: Large Language Models Compression via Low-Rank Feature Distillation [8.090496457850852]
  ライラマ(英: Lillama)は、低ランク重量で活性化を蒸留する圧縮法である。 1つのA100 GPUでMixtral-8x7Bを数分で圧縮し、100億のパラメータを削除し、元のパフォーマンスの95%以上を保持した。 非トランスフォーマーアーキテクチャを一般化し、99%のパフォーマンスを維持しながら、Mamba-3Bを20%圧縮する。
  論文  参考訳（メタデータ） (2024-12-21T18:04:01Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。