論文の概要: Pretraining Data Scale Reverses the Muon-AdamW Fine-Tuning Gap

• arxiv url: http://arxiv.org/abs/2611.03633v2
• Date: Wed, 04 Nov 2026 16:31:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.726773
• Title: Pretraining Data Scale Reverses the Muon-AdamW Fine-Tuning Gap
• Title（参考訳）: Muon-AdamWファインチューニングギャップの予測データスケール逆転
• Abstract要約: 本研究では,MuonとAdamWの下流挙動について検討した。 言語モデルでは、Muonは小さなデータ予算で、AdamWでは大きなマージン対スプレッド比を持つ。
• 参考スコア（独自算出の注目度）: 41.820048824252105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Muon has recently emerged as a promising optimizer for pretraining large language models, offering a speedup over AdamW in minimizing pretraining loss. However, it remains unclear whether Muon's advantage persists after fine-tuning. In this paper, we study the downstream behavior of Muon and AdamW and uncover a surprising trend: beyond a sufficiently large pretraining data budget, AdamW outperforms Muon after fine-tuning. Moreover, as model size increases, AdamW overtakes Muon at progressively smaller pretraining token-parameter ratios. To explain this reversal, we view fine-tuning as a perturbation of the outputs and introduce the margin-to-spread ratio, which measures how far the correct logit lies above the wrong ones relative to how widely the wrong logits are spread. In language models, Muon has the larger margin-to-spread ratio at small data budgets and AdamW at large ones, mirroring the fine-tuning trend. In a linear associative memory, we prove that after one update the margin-to-spread ratio of gradient descent gains on that of Muon as the data budget grows, and simulations show that this trend persists after extended training.
• Abstract（参考訳）: Muonは最近、大規模な言語モデルの事前トレーニングのための有望なオプティマイザとして登場し、事前トレーニング損失を最小限に抑えるAdamWよりも高速になった。 しかし、ムオンの優位性が微調整後に継続するかどうかは不明である。 本稿では,MuonとAdamWの下流挙動について検討し,十分な事前学習データ予算の他に,微調整後のMuonよりも優れているという驚くべき傾向を明らかにする。 さらに、モデルのサイズが大きくなるにつれて、AdamWは徐々により小さなトークンパラメータ比でMuonを追い越す。 この逆転を説明するために、我々は微調整を出力の摂動とみなし、不正なロジットの広さに対して正しいロジットが間違ったロジットよりもどれくらい大きいかを測定するマージン・ツー・スプレッド比を導入する。 言語モデルでは、Muonは小さなデータ予算でマージン・ツー・スプレッド比がより大きく、AdamWは大規模で、微調整の傾向を反映している。 線形連想メモリでは,データ予算が増大するにつれて,ムオンの勾配降下率の差分比が増加し,この傾向が長期学習後に継続することを示す。

関連論文リスト

• MeqMuon: Matrix-Equilibrating Muon for LLM Pretraining [25.86092823376269]
  我々は,LLMプレトレーニングのための改良されたMumonを提案し,その改良版であるUnderlinematrix-underlineequilibrating Muon(MeqMuon)を提案する。 MeqMuonは、手動で介入することなく、異なる不均衡パターンに自動的に調整できる正規化を通じて、行と列の大きさのバランスをとる。
  論文  参考訳（メタデータ） (2026-09-28T17:41:34Z)
• Why Muon Outperforms Adam: A Curvature Perspective [49.85900116602357]
  Muonは、大規模な言語モデルトレーニングにおいて、Adamよりもトレーニング効率を約2倍改善する。 私たちの研究は、Adamに対するMuonの優位性を曲率の観点から軽視する第一歩を踏み出します。
  論文  参考訳（メタデータ） (2026-06-03T09:40:30Z)
• Can Muon Fine-tune Adam-Pretrained Models? [0.5735035463793009]
  ほとんどのオープンモデルはAdamで事前訓練されており、微調整のためにミュオンに鼻で切り替えると、ミスマッチによって性能が劣化する。 我々は、ミスマッチが事前訓練された知識を妨害し、この破壊が更新強度とともにスケールする証拠を提供する。 LoRAは、言語やビジョンタスク全体にわたって、完全な微調整の下で観察されるAdamとMuonのパフォーマンスギャップを減らします。
  論文  参考訳（メタデータ） (2026-05-11T12:34:20Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Muon Outperforms Adam in Tail-End Associative Memory Learning [118.98991042050532]
  機能埋め込みにかかわらず,Muonはクラス間のバランスの取れた学習を一貫して達成している。 我々の経験的観察と理論的分析により、ムオンの核となる利点が明らかとなり、その更新規則は線形連想記憶の外積構造と一致している。
  論文  参考訳（メタデータ） (2025-09-30T10:04:08Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。