論文の概要: MuonIO: Principled Norm-Aware Descent for Embedding Tables and Language Model Heads

• arxiv url: http://arxiv.org/abs/2610.02705v1
• Date: Fri, 02 Oct 2026 02:40:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.169484
• Title: MuonIO: Principled Norm-Aware Descent for Embedding Tables and Language Model Heads
• Title（参考訳）: MuonIO: テーブルと言語モデルヘッドを埋め込むための原則付きノーム対応のDescent
• Abstract要約: 入力層と出力層に対して,単一の Muon スタイルの更新を行う。 MuonIO は C4 上で 1B LLa の事前トレーニングを行う Muon と比較して,I/O メモリを $sim6% 削減すると同時に,検証の難易度も向上している。
• 参考スコア（独自算出の注目度）: 17.524471269324945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Muon optimizer derives its update rule for hidden linear layers by solving a local linearization of the loss penalized by the spectral norm, motivated by an RMS-stability argument for dense linear layers. Standard Muon implementations, however, exclude the input (embedding table) and output (language model head) layers from this principled treatment, for which they use AdamW instead. We present MuonIO, a single Muon-style update for both of these layers. For the language model head $\mathbf{L} \in \mathbb{R}^{V \times d}$, we motivate the use of the $2\to\infty$ operator norm, due to the Lipschitz continuity of the softmax output geometry, while for the embedding table $\mathbf{E} \in \mathbb{R}^{d \times V}$, we draw on the $1 \to 2$ operator norm, based on the one-hot input geometry identified by Bernstein & Newhouse (2025). The identity $\lVert\mathbf{L}\rVert_{2\to\infty}=\lVert\mathbf{L}^\top\rVert_{1\to2}$ then puts both matrices in the same vocabulary-oriented geometry: MuonIO applies a single normalized-vector rule, which appears as column normalization for $\mathbf{E}$ and row normalization for $\mathbf{L}$. Empirical evaluations demonstrate the effectiveness of our approach, with MuonIO reducing I/O optimizer state memory by 50% and I/O update FLOPs by $\sim$46% compared to Muon for 1B LLaMA pretraining on C4, while also improving validation perplexity.
• Abstract（参考訳）: Muonオプティマイザは、高密度線形層に対するRMS安定性の議論によって動機付けられたスペクトルノルムで証明された損失の局所線形化を解くことで、隠れ線形層に対する更新規則を導出した。 しかし、標準のMuon実装では、入力(埋め込みテーブル)と出力(言語モデルヘッド)層をこの原則化された処理から除外し、代わりにAdamWを使用する。 MuonIO はいずれも Muon スタイルの更新である。 言語モデルヘッド $\mathbf{L} \in \mathbb{R}^{V \times d}$ に対して、ソフトマックス出力幾何のリプシッツ連続性のために 2 to\infty$ 作用素ノルムの使用を動機付け、埋め込みテーブル $\mathbf{E} \in \mathbb{R}^{d \times V}$ に対して、ベルンシュタイン・アンド・ニューハウス (2025) が同定した 1 つのホット入力幾何に基づいて 1 to 2$ 作用素ノルム(英語版)を描く。 同一性 $\lVert\mathbf{L}\rVert_{2\to\infty}=\lVert\mathbf{L}^\top\rVert_{1\to2}$ は、両方の行列を同じ語彙指向の幾何学に配置する。 提案手法の有効性を実証的に評価し,I/O最適化メモリを50%削減し,I/O更新FLOPを$\sim$46%削減した。

関連論文リスト

• Optimal Scalar Quantization for Matrix Multiplication: Closed-Form Density and Phase Transition [50.36362492608702]
  乗算前の2つの行列のエントリーワイズスカラー量子化について検討した。 我々は、閉形式の最適点密度 [ star(u) propto exp!left(-fracu26right)bigl( (1-2)+2u22bigr), qquad u=fracx_X を求め、相関駆動相転移を証明した。
  論文  参考訳（メタデータ） (2026-03-20T01:53:44Z)
• Closed-form $\ell_r$ norm scaling with data for overparameterized linear regression and diagonal linear networks under $\ell_p$ bias [0.0]
  パラメータノルムの族をスケールするために、統一的で高確率な特徴を与える。 次に、降下によって訓練された線形ネットワークについて研究する。
  論文  参考訳（メタデータ） (2025-09-25T13:59:22Z)
• Attention with Trained Embeddings Provably Selects Important Tokens [73.77633297039097]
  トーケン埋め込みは言語モデリングにおいて重要な役割を担っているが、この実践的関連性にもかかわらず、理論的な理解は限られている。 本論文は,勾配降下法により得られた埋め込み構造を特徴付けることにより,そのギャップを解消する。 実世界のデータセット(IMDB、Yelp)の実験では、我々の理論が明らかにしたものに近い現象が示されている。
  論文  参考訳（メタデータ） (2025-05-22T21:00:09Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• Constant matters: Fine-grained Complexity of Differentially Private Continual Observation [10.624505781812385]
  連続的な観測をカウントするための差分プライベートアルゴリズムに対するきめ細かい誤差境界について検討する。 我々は連続観察下で様々な問題に対して具体的な誤差境界を初めて与えている。
  論文  参考訳（メタデータ） (2022-02-23T11:50:20Z)
• Model Selection with Near Optimal Rates for Reinforcement Learning with General Model Classes [27.361399036211694]
  有限地平線エピソディック強化学習(RL)問題に対するモデル選択の問題に対処する。 モデル選択フレームワークでは、$mathcalP*$の代わりに、遷移カーネルのネストされたファミリーが$M$を与えられる。 textttARL-GENが$TildemathcalO(d_mathcalE* H2+sqrtd_mathcalE* mathbbM* H2T)$の後悔を得ることを示す。
  論文  参考訳（メタデータ） (2021-07-13T05:00:38Z)
• Minimax Optimal Regression over Sobolev Spaces via Laplacian Regularization on Neighborhood Graphs [25.597646488273558]
  非パラメトリック回帰に対するグラフに基づくアプローチであるラプラシア平滑化の統計的性質について検討する。 ラプラシアン滑らか化が多様体適応であることを証明する。
  論文  参考訳（メタデータ） (2021-06-03T01:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。