論文の概要: Muon Sublates the Edge of Stability in LLM Pretraining

• arxiv url: http://arxiv.org/abs/2609.34915v1
• Date: Mon, 28 Sep 2026 11:17:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:44:51.180235
• Title: Muon Sublates the Edge of Stability in LLM Pretraining
• Title（参考訳）: Muon は LLM プレトレーニングにおける安定性のエッジを置換する
• Abstract要約: ムオンの大きなステップのダイナミクスは、古典的な不安定な降下図では捉えられていないことを示す。 制御された実験により、損失バランスと時間的アライメントは学習率とバッチサイズに異なる反応を示す。 損失ニュートラルエッジは残るが、普遍的な時間方向シグネチャは伴わない。
• 参考スコア（独自算出の注目度）: 13.845131229040591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Muon is increasingly used for language-model pretraining, yet its large-step dynamics are not captured by the classical edge-of-stability (EoS) picture of gradient descent (GD). In GD, loss neutrality, equal-magnitude update reversal, and marginal stability meet at a single learning-rate-dependent edge. We show that Muon breaks this coupling. For stochastic no-momentum Muon, we derive a coherence-corrected conditional loss-neutral boundary $2ρ_b/η$, while temporal alignment follows a separate geometry. Controlled experiments show that loss balance and temporal alignment respond differently to learning rate and batch size. Across our language model experiments, the 130M Llama-like LLM runs exhibit loss-boundary tracking with weak negative alignment, whereas the studied 1B LLM configuration shows stronger partial cancellation; in both settings, directions remain far from coherent reversal while training continues to improve. These results support a split EoS picture for Muon: a stochastic loss-neutral edge survives, but it is not accompanied by a universal temporal-direction signature. The source code for reproducing the experiments can be found in https://github.com/cyzebra/Muon-Sublates-the-Edge-of-Stability-in-LLM-Pretraining
• Abstract（参考訳）: Muon は言語モデルの事前訓練にますます利用されているが、その大きなステップのダイナミクスは、勾配降下 (GD) の古典的なエッジ・オブ・スタビリティ (EoS) 図では捉えられない。 GDでは、損失中立性、等マグニチュード更新逆転、限界安定性は1つの学習速度依存エッジで満たされる。 Muon がこの結合を断ち切ることを示す。 確率的ノモーメントムオンに対しては、コヒーレンス補正された条件付き損失ニュートラル境界(2ρ_b/η$) を導出するが、時間的アライメントは別の幾何学に従う。 制御された実験により、損失バランスと時間的アライメントは学習率とバッチサイズに異なる反応を示す。 言語モデル実験全体では,130M Llama-like LLM は弱い負のアライメントを持つ損失境界追跡を行うのに対し,研究された 1B LLM の構成はより強い部分的キャンセルを示す。 確率的損失ニュートラルエッジは生き残るが、普遍的な時間方向のシグネチャは伴わない。 実験を再現するソースコードはhttps://github.com/cyzebra/Muon-Sublates-the-Edge-of-Stability-in-LLM-Pretrainingにある。

関連論文リスト

• Muon Under Gradient Noise and the Limits of Orthogonalization Near Optima [10.232844836735259]
  各重み行列の運動量バッファーをその極因子で置き換えることを示す。 エルミート展開は、入力ノイズとは無関係な非線形残留に運動量がどのように作用するかを示す。 その結果、最適化がノイズ支配となると、応答整合運動量SGDによる勾配化の置き換えが理論的に成り立つ。
  論文  参考訳（メタデータ） (2026-09-26T18:38:27Z)
• The Spectral Dynamics and Noise Geometry of Muon [0.6335848702857036]
  Muon は行列勾配 $G=UVtop$ を極係数 $UVtop$ に置き換える。 この操作によって生成される最適化バイアスについて検討する。
  論文  参考訳（メタデータ） (2026-06-07T00:51:30Z)
• Why Muon Outperforms Adam: A Curvature Perspective [49.85900116602357]
  Muonは、大規模な言語モデルトレーニングにおいて、Adamよりもトレーニング効率を約2倍改善する。 私たちの研究は、Adamに対するMuonの優位性を曲率の観点から軽視する第一歩を踏み出します。
  論文  参考訳（メタデータ） (2026-06-03T09:40:30Z)
• Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
  Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。 Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
  論文  参考訳（メタデータ） (2026-05-26T02:48:34Z)
• AMUSE: Anytime Muon with Stable Gradient Evaluation [25.647698512832648]
  本研究は,平らで低曲率なバルク部分空間に沿って,ムーンを河川-谷の損失景観から調査するものである。 本研究では,Muonの急激なバルク進行とSchedule-Free平均化の安定化効果を統合した安定勾配評価(AMUSE)を用いたAnytime MUonを提案する。
  論文  参考訳（メタデータ） (2026-05-21T12:55:52Z)
• Muown: Row-Norm Control for Muon Optimization [41.541871767555484]
  Muonは、言語モデルの事前トレーニングにおいてAdamWと強く競合する。 Muownは、Muon、SOAP、AdamW、Lionの複雑さを改善します。
  論文  参考訳（メタデータ） (2026-05-11T16:26:06Z)
• Muon in Associative Memory Learning: Training Dynamics and Scaling Laws [23.350512542598803]
  We study Muon in a linear associative memory model with softmax search and ahierarchical frequency spectrum over query-apwer pairs。 我々は、Muonがこの不均衡を緩和し、より速く、より均一な進歩をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-05T14:49:40Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Regularizing with Pseudo-Negatives for Continual Self-Supervised Learning [62.40718385934608]
  効果的な継続型自己教師型学習(CSSL)のためのPNR(Pseudo-Negative Regularization)フレームワークを提案する。 我々のPNRは,新たに学習した表現が過去の学習と矛盾しないように,モデルに基づく拡張によって得られた擬陰性情報を活用する。
  論文  参考訳（メタデータ） (2023-06-08T10:59:35Z)
• Rebalanced Siamese Contrastive Mining for Long-Tailed Recognition [120.80038161330623]
  教師付きコントラスト学習は、元のバッチレベルとシームズバッチレベルの両方において、二重クラス不均衡の問題に悩まされていることを示す。 コントラスト計算のための情報的ペアを抽出し,表現学習を改善するために,教師付き強正・負のペアマイニングを提案する。
  論文  参考訳（メタデータ） (2022-03-22T07:30:38Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。