論文の概要: Normalize-Then-Precondition: A Hierarchical Approach to Marginal Scale and Interaction Geometry for LLM Training

• arxiv url: http://arxiv.org/abs/2609.36692v1
• Date: Tue, 29 Sep 2026 04:32:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.185883
• Title: Normalize-Then-Precondition: A Hierarchical Approach to Marginal Scale and Interaction Geometry for LLM Training
• Title（参考訳）: 正規化条件:LLMトレーニングにおけるマージナルスケールと相互作用幾何学の階層的アプローチ
• Abstract要約: マトリックスのイテレーションは有望な方向性として現れ、Muonは目立った設計として際立っている。 我々は,Muonが共同で限界スケールと相互作用情報を処理しているのを観察する。 これにより、幾何学的情報を階層的に整理する別の方法が開かれ、正規化-Then-Preconditionフレームワークを動機付けている。 NormPre-G と NormPre-L を併用した NormPre を開発した。
• 参考スコア（独自算出の注目度）: 20.573750525222813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Matrix optimizers have emerged as a promising direction, with Muon standing out as a prominent design. Revisiting Muon through its full-Gram representation, we observe that it jointly processes marginal-scale and interaction information. This opens an alternative way to organize geometric information hierarchically, motivating the Normalize-Then-Precondition framework. Specifically, it first uses diagonal-Gram information to construct a marginally normalized update, then applies spectral preconditioning to its directional interaction geometry. Building on this framework, we develop NormPre with NormPre-G and NormPre-L adopting global and localized spectral preconditioning, grounded in spectral-norm steepest descent and a regularized formulation followed by leading mode selection, respectively. To enable large-scale training, NormPre-G uses Newton-Schulz iterations and NormPre-L employs randomized sketching to approximate the leading interaction eigenspace. Theoretically, we establish $\mathcal{O}(T^{-1/2})$ convergence guarantees for simplified versions of NormPre. Across extensive pretraining experiments on GPT-2 Small, LLaMA and Qwen3, both variants consistently outperform AdamW, Muon and MANO under matched training budgets. Further efficiency and spectral analyses reveal the complementary strengths of two variants and characterize their performance-efficiency trade-off. We open-source our code through a GitHub repository at https://github.com/zx-gong/NormPre.
• Abstract（参考訳）: マトリックスオプティマイザは有望な方向性として登場し、Muonは目立った設計として目立った。 フルグラム表現を通してMuonを再考し、境界スケールと相互作用情報を共同で処理することを観察する。 これにより、幾何学的情報を階層的に整理する別の方法が開かれ、正規化-Then-Preconditionフレームワークを動機付けている。 具体的には、まず対角線-グラム情報を用いて、辺縁に正規化された更新を構築し、スペクトルプレコンディショニングをその方向の相互作用幾何学に適用する。 この枠組みに基づいて,NormPre-G と NormPre-L を用いた NormPre を開発した。 大規模なトレーニングを可能にするため、NormPre-GはNewton-Schulzイテレーションを使用し、NormPre-Lはランダムなスケッチを使用して、主要な相互作用固有空間を近似する。 理論的には、NormPreの簡易バージョンに対する$\mathcal{O}(T^{-1/2})$収束保証を確立する。 GPT-2 Small、LLaMA、Qwen3の広範囲な事前訓練実験では、両者はAdamW、Muon、MANOより一貫して優れていた。 さらなる効率性とスペクトル分析により、2つの変種を補完する強度を明らかにし、その性能と効率のトレードオフを特徴づける。 コードをGitHubリポジトリからhttps://github.com/zx-gong/NormPre.comに公開しています。

関連論文リスト

• Scale-Invariant Neural Network Optimization: Norm Geometry and Heavy-Tailed Noise [12.977441534320041]
  スペクトルノルムを持つスケール不変の1次法は$(minm, n-frac3p-2p-1)の呼び出しを必要とすることを示す。 我々は、標準がスペクトルであり、ヘシアンがリプシッツであるとき、バッチ法が$(minm, n-frac5p2p-2p-2)$のマッチング境界を達成することを証明した。
  論文  参考訳（メタデータ） (2026-05-18T15:13:18Z)
• Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters [48.3175117923623]
  ほとんどの勾配クリッピング規則は、全てのパラメータを重ベクトルとして扱い、現代のベクトルの行列構造を無視する。 実験により、データのアウトリーチは、少数のリード特異値のみを増幅することを示した。 この現象を動機として,特異値で安定化するクリッピングを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:24:59Z)
• Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
  正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。 ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。 また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
  論文  参考訳（メタデータ） (2026-05-11T19:42:48Z)
• Muon-OGD: Muon-based Spectral Orthogonal Gradient Projection for LLM Continual Learning [15.604900995606451]
  スペクトルノルムを意識した連続学習フレームワークであるMuon-OGDを提案する。 提案手法を標準連続学習ベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-05-09T13:42:08Z)
• Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods [50.070182958880146]
  本稿では,事前条件付き行列ノルムの新たな概念を通じて,降下法,準ニュートン法,適応法を一般化する統一的枠組みを提案する。 この枠組みでは、行列パラメータ化設定におけるアフィンとスケール不変性の最初の体系的処理を提供する。 我々は、Muonのスペクトル幾何学とAdamスタイルのプレコンディショニングを組み合わせた、$ttMuAdam$と$texttMuAdam-SANIA$という2つの新しい方法を紹介した。
  論文  参考訳（メタデータ） (2025-10-12T19:39:41Z)
• Error Feedback for Muon and Friends [80.90330715662961]
  我々は、厳密な収束保証を備えた最初の通信効率非ユークリッドLMOであるEF21-Muonを紹介する。 我々の理論は、非ユークリッドの滑らかさとより一般的な$(L0, L1)$-smooth設定をカバーし、最もよく知られたユークリッドの速度と一致し、適切なノルム選択の下でより高速な収束を可能にする。
  論文  参考訳（メタデータ） (2025-10-01T08:20:08Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Curvature-Informed SGD via General Purpose Lie-Group Preconditioners [6.760212042305871]
  曲率情報を利用して勾配降下(SGD)を加速する新しい手法を提案する。 提案手法は,行列フリープレコンディショナーと低ランクプレコンディショナーの2つのプレコンディショナーを含む。 プレコンディショニングされたSGD(PSGD)は、ビジョン、NLP、RLタスクにおいてSoTAよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-07T03:18:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。