論文の概要: AF-Muon: An AdamW-Free Muon Optimizer for Tied-Embedding Models

• arxiv url: http://arxiv.org/abs/2610.01395v1
• Date: Thu, 01 Oct 2026 09:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.045659
• Title: AF-Muon: An AdamW-Free Muon Optimizer for Tied-Embedding Models
• Title（参考訳）: AF-Muon:Tied-EmbeddingモデルのためのAdamWフリーミューオン最適化
• Abstract要約: AF-Muonは1つの第1モーメントバッファと第2モーメント状態を持たないパラメータクラスを訓練する。 AF-Muonは、Hybrid MuonとSCIONスタイルのサインの両方に対する平均検証損失とパープレキシティを改善する。
• 参考スコア（独自算出の注目度）: 15.882976685849924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Muon improves large-scale training by applying a spectral-norm steepest-descent update to matrix parameters, but practical models also contain parameter blocks that do not fit dense-matrix geometry. One important case is the tied vocabulary table, which appears in language models and other token generators and can receive multiple structurally different gradient sources, from sparse input lookups to dense output-classifier updates. In the reference recipe these blocks are handed to an auxiliary AdamW optimizer, which restores second-moment state and updates the aliased table as a generic tensor. We propose AF-Muon, an AdamW-free extension of Muon that keeps the Muon matrix update for hidden weight matrices while using a support-aware finite-cap linear minimization oracle for tied vocabulary tables and an RMS-normalized update for one-dimensional auxiliary parameters. AF-Muon therefore trains every parameter class with a single first-moment buffer and no second-moment state, saving around 20% optimizer-state memory relative to Hybrid Muon in our benchmark. Across nine tied-token settings - decoder-only language models from 124M to 1B parameters, a fully shared T5-style encoder-decoder, and ImageGPT-style image-token, protein, and sparse-MoE variants, spanning text, image, and protein-sequence data - AF-Muon improves mean validation loss and perplexity over both Hybrid Muon and a SCION-style Sign endpoint. Long-horizon runs and hyperparameter sensitivity studies confirm the gain is robust, and identical-momentum diagnostics attribute it to the finite cap, which preserves more within-row magnitude than Sign while bounding the coordinate concentration of row-RMS. These results identify tied vocabulary tables as a distinct optimizer geometry and yield a robust AdamW-free Muon variant across models, modalities, and architectures, with about 1% step-time overhead in matched training.
• Abstract（参考訳）: Muonはスペクトルノルムの急勾配更新を行列パラメータに適用することで大規模なトレーニングを改善するが、実用モデルは密度行列幾何学に適合しないパラメータブロックも含む。 重要なケースの1つは、連結語彙テーブルであり、これは言語モデルやその他のトークンジェネレータに現れ、スパース入力ルックアップから高密度出力分類器更新まで、複数の構造的に異なる勾配ソースを受け取ることができる。 参照レシピでは、これらのブロックは補助的なAdamWオプティマイザに渡され、2番目のモーメント状態を復元し、ジェネリックテンソルとしてエイリアステーブルを更新する。 AF-Muon, AF-Muon, a AdamW-free extension of Muon, keep the Muon matrix update for hidden weight matrices while using a support-aware finite-cap linear minimization oracle for tied vocabulary table and a RMS-normalized update for one-dimensional assistant parameters。 AF-Muonは、ベンチマークでHybrid Muonと比較して約20%最適化されたメモリを節約し、単一の第1モーメントバッファと第2モーメント状態を持たないパラメータクラスをトレーニングする。 関連付けられた9つの設定 - 124Mから1Bパラメータのデコーダのみの言語モデル、完全に共有されたT5スタイルのエンコーダデコーダ、ImageGPTスタイルのイメージトークン、タンパク質、スパース-MoE、テキスト、画像、タンパク質配列データ - AF-Muonは、Hybrid MuonとSCIONスタイルのSignエンドポイントの両方に対する平均検証損失とパープレキシティを改善している。 ロングホライゾンランとハイパーパラメータ感度の研究は、利得が堅牢であることを確認し、同じモメンタム診断では、行RMSの座標濃度を束縛しながら、シグナーよりもローの内等級を保っている有限のキャップとみなしている。 これらの結果は、連結語彙テーブルを異なるオプティマイザ幾何学として識別し、モデル、モダリティ、アーキテクチャにまたがる堅牢なAdamW-free Muon変種を、一致したトレーニングにおいて約1%のステップタイムオーバーヘッドで生成する。

関連論文リスト

• FedSubMuon: Communication-Efficient Federated LLM Fine-Tuning via Structured Subspace Muon [16.13015168730684]
  フェデレートされた微調整は、大規模な言語モデルを分散クライアントデータに適用する。 FedSubMuonは通信効率の高いフェデレーションムーン微調整法である。 FedSubMuon-GTは、5つのデータセットモデルペアのうち4つにおいて、最高の全体的な精度を達成する。
  論文  参考訳（メタデータ） (2026-09-05T13:07:13Z)
• CMuon: Accelerating and Stabilizing Diffusion Transformer Training via Chunked Momentum Orthogonalization [10.379982302944201]
  Diffusion Transformer (DiTs) は、視覚生成モデリングにおいて最先端(SOTA)のパフォーマンスを達成したが、そのトレーニングは計算的に禁止されている。 Momentum Orthogonalization (Muon) は、Dits への直接適用により、AdamW に代わる有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-08-03T17:04:43Z)
• DMuon: Efficient Distributed Muon Training with Near-Adam Overhead [13.192517400076746]
  DMuonはオープンソースの分散Muon実装で、既存のトレーニングパイプラインをドロップインモジュールとして統合します。 DMuonは、エンドツーエンドのステップタイムで1.48x-3.01xのスピードアップ、ステップタイムで6.85x-163.00xのスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-25T15:23:03Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Variance-Adaptive Muon: Accelerating LLM Pretraining with NSR-Modulated and Variance-Scaled Momentum [19.385264518362472]
  大規模言語モデル(LLM)は、多種多様な自然言語処理(NLP)タスク間の競合性能を達成する。 モーメントに分散適応正規化を適用するMuon-NSRとMuon-VSの2つの変種を提案する。 GPT-2 と LLaMA プレトレーニング実験により,提案手法は収束を加速し,AdamW と Muon の両ベースラインの競合よりも連続的に検証損失を減少させることを示した。
  論文  参考訳（メタデータ） (2026-01-21T02:41:56Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• MatFormer: Nested Transformer for Elastic Inference [91.45687988953435]
  MatFormerは、多様なデプロイメント制約にまたがる弾性推論を提供するように設計された、新しいTransformerアーキテクチャである。 MatFormerは、標準的なTransformerモデルにネストフィードフォワードネットワーク(FFN)ブロック構造を組み込むことで、これを実現している。 8億5000万デコーダのみのMatFormer言語モデル(MatLM)により,5億2200万から8億5千万のパラメータにまたがる複数の小さなモデルを抽出できることを示す。
  論文  参考訳（メタデータ） (2023-10-11T17:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。