論文の概要: Theoretical Analysis of Muon on Transformers for Next-Token Prediction

• arxiv url: http://arxiv.org/abs/2611.04465v1
• Date: Tue, 03 Nov 2026 07:52:49 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:37:38.704008
• Title: Theoretical Analysis of Muon on Transformers for Next-Token Prediction
• Title（参考訳）: 次世代予測のための変圧器のミューオンの理論解析
• Abstract要約: 変圧器の次点予測のためのMuonのトレーニングダイナミクスを解析する。 結果は、Muonの更新ルールは、モデルが予測に重要なトークンを効率的に学習するのに役立つことを示唆している。
• 参考スコア（独自算出の注目度）: 20.372789581079576
• License:
• Abstract: Muon has recently shown strong empirical performance in training Transformer-based large language models (LLMs), yet its optimization dynamics remain poorly understood from a theoretical perspective. In this paper, we analyze the training dynamics of Muon for next-token prediction (NTP) in Transformers. The training procedure consists of two phases: the preprocessing phase learns the output-value component, while the main phase learns the key-query component. For the preprocessing phase, we characterize the optimization trajectory exactly and show that the normalized spectral margin is optimal after each update. For the main phase, we establish nonasymptotic convergence rates for the training loss and the normalized margin gap under softmax attention. These results suggest that Muon's update rule can help models efficiently learn which tokens matter for prediction, offering a possible explanation for its strong performance in large language model training. The learned weight structure also yields a generalization guarantee for unseen contexts. Furthermore, we validate our theoretical insights with experiments on next-token prediction tasks.
• Abstract（参考訳）: Muonは最近、Transformerベースの大規模言語モデル(LLM)のトレーニングにおいて、強力な経験的性能を示したが、その最適化のダイナミクスは理論的な観点からはあまり理解されていない。 本稿では,変圧器の次トーケン予測(NTP)のためのMuonのトレーニングダイナミクスを解析する。 トレーニング手順は、前処理フェーズが出力値成分を学習し、主フェーズがキー-クエリ成分を学習する2つのフェーズで構成される。 前処理フェーズでは,最適化軌跡を正確に特徴付け,更新毎に正規化スペクトルマージンが最適であることを示す。 本研究の主相は,軟弱注意下でのトレーニング損失と正常化マージンギャップに対する漸近収束率を確立することである。 これらの結果から,Muonの更新ルールは,予測に重要なトークンを効率的に学習する上で有効であることが示唆された。 学習された重み構造はまた、目に見えない文脈に対する一般化を保証する。 さらに,次の予測課題に関する実験により理論的知見を検証した。

関連論文リスト

• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less [20.230676271699743]
  事前トレーニングと同様の完全な微調整は、学習を忘れるトレードオフ、すなわち、新しいタスクで同じあるいはより良いパフォーマンスを達成しながら、より少ないことを忘れることを実現する。 合成言語モデリング実験を用いて、これはMuonのロテに対する強い傾向から生じる可能性があることを示す。
  論文  参考訳（メタデータ） (2026-05-07T17:57:02Z)
• How Reinforcement Learning After Next-Token Prediction Facilitates Learning [36.98696363889831]
  本研究では,1つのタスクをコードする短い鎖と長い鎖の配列の混合分布から学習する。 次点予測後の強化学習が自己回帰変換器の一般化を可能にすることを示す。
  論文  参考訳（メタデータ） (2025-10-13T15:04:00Z)
• Overtrained Language Models Are Harder to Fine-Tune [64.44743256512237]
  大規模言語モデルは、成長を続けるトークン予算に基づいて事前訓練されている。 事前トレーニングの拡張により、モデルを微調整しにくくなり、最終的なパフォーマンスが低下することを示した。
  論文  参考訳（メタデータ） (2025-03-24T23:11:56Z)
• Non-asymptotic Convergence of Training Transformers for Next-token Prediction [48.9399496805422]
  トランスフォーマーは、シーケンシャルなデータを扱う優れた能力のために、現代の機械学習において驚くべき成功を収めています。 本稿では, 単層変圧器のトレーニング力学の微細な非漸近解析を行う。 トレーニングされたトランスフォーマーは,データセットシフトによる非トーケン予測能力を示すことを示す。
  論文  参考訳（メタデータ） (2024-09-25T20:22:06Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。