論文の概要: T-MUON: Tensorizing Muon via t-SVD for Large Language Model Pre-training

• arxiv url: http://arxiv.org/abs/2610.24938v1
• Date: Sun, 18 Oct 2026 01:20:16 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:27:21.993688
• Title: T-MUON: Tensorizing Muon via t-SVD for Large Language Model Pre-training
• Title（参考訳）: T-MUON:大規模言語モデル事前学習のためのt-SVDによるミューオンのテンソル化
• Abstract要約: T-MUON は t-SVD に基づく一般化であり、トランスフォーマー勾配を三階テンソルにグループ化する。 正確なT-MUON更新は、$star_M$-transform normの下で最も急勾配であることを示す。 51M から 1.3B までの GPT-2 スタイルと LLaMA スタイルのモデルでは、FineWeb と FineWeb-Edu で訓練されたパラメータに対して、ID変換を持つ頭部型 T-MUON は、DFT、DCT、DST 変換を用いて、AdamW、Muon、および変種よりも低い検証パーリティを一貫して達成している。
• 参考スコア（独自算出の注目度）: 19.505305137104706
• License:
• Abstract: Muon has recently emerged as a strong optimizer for large language model pretraining by exploiting matrix structure through polar orthogonalization. However, it processes each parameter matrix independently, whereas recent tensor-aware extensions of Muon jointly update groups of eligible matrix parameters through matrix unfoldings. In contrast, we propose T-MUON, a t-SVD-based generalization that groups structurally related Transformer gradients into third-order tensors and defines the corresponding Muon-style update directly through the $M$-transform. We show that the exact T-MUON update is a steepest-descent direction under the $\star_M$-spectral norm and establish a convergence guarantee. Across GPT-2-style and LLaMA-style models from 51M to 1.3B parameters trained on FineWeb and FineWeb-Edu, head-wise T-MUON with the identity transform consistently achieves lower validation perplexity than AdamW, Muon, and variants using DFT, DCT, or DST transforms. These gains persist in additional experiments with longer context lengths and larger token budgets, although the preferred tensorization mode varies across settings.
• Abstract（参考訳）: Muonは最近、極性直交化による行列構造を利用した大規模言語モデルの事前学習のための強力なオプティマイザとして登場した。 しかし、これは各パラメータ行列を独立に処理するのに対し、最近のMuonのテンソル対応拡張は、行列展開を通じて許容行列パラメータの群を共同で更新する。 対照的に、T-MUON(T-SVD-based generalization)は、構造関連トランスフォーマー勾配を3階テンソルにグループ化し、M$-transform を通じて対応する Muon-style update を直接定義する一般化である。 正確なT-MUON更新は、$\star_M$-spectral ノルムの下で最も急勾配な方向を示し、収束保証を確立する。 51M から 1.3B までの GPT-2 スタイルと LLaMA スタイルのモデルでは、FineWeb と FineWeb-Edu で訓練されたパラメータに対して、ID変換を持つ頭部型 T-MUON は、DFT、DCT、DST 変換を用いて、AdamW、Muon、および変種よりも低い検証パープレキシティを一貫して達成している。 これらの利得は、より長いコンテキスト長とより大きなトークン予算を持つ追加の実験で継続されるが、望ましいテンソル化モードは設定によって異なる。

関連論文リスト

• AF-Muon: An AdamW-Free Muon Optimizer for Tied-Embedding Models [15.882976685849924]
  AF-Muonは1つの第1モーメントバッファと第2モーメント状態を持たないパラメータクラスを訓練する。 AF-Muonは、Hybrid MuonとSCIONスタイルのサインの両方に対する平均検証損失とパープレキシティを改善する。
  論文  参考訳（メタデータ） (2026-10-01T09:59:36Z)
• CMuon: Accelerating and Stabilizing Diffusion Transformer Training via Chunked Momentum Orthogonalization [10.379982302944201]
  Diffusion Transformer (DiTs) は、視覚生成モデリングにおいて最先端(SOTA)のパフォーマンスを達成したが、そのトレーニングは計算的に禁止されている。 Momentum Orthogonalization (Muon) は、Dits への直接適用により、AdamW に代わる有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-08-03T17:04:43Z)
• Beyond Muon: MUD (MomentUm Decorrelation) for Faster Transformer Training [0.0]
  MUD(MomentUm Decorrelation)は,Muonの極点更新を三角形(Cholesky様)の白化代理に置き換える補完的な白化手法である。 MUDは、調整されたAdamWとMuonよりも、10-50%のウォールクロック改善を実現している。 また,EMM-2 150Mタンパク質言語モデルのトレーニングを行った。
  論文  参考訳（メタデータ） (2026-03-18T17:37:31Z)
• Adam Improves Muon: Adaptive Moment Estimation with Orthogonalized Momentum [5.049533819651459]
  雑音適応を伴う運動量の最初の原理的統合を提供するため、新しい対角拡張NAMOとNAMO-Dを提案する。 NAMO-D は代わりに、クランプされた成分を持つ対角行列による直交運動量を持つ。 GPT-2モデルの事前訓練実験では,AdamWモデルとMuonモデルと比較してNAMOモデルとNAMO-Dモデルの両方の性能が向上した。
  論文  参考訳（メタデータ） (2026-02-19T05:00:39Z)
• Test time training enhances in-context learning of nonlinear functions [51.56484100374058]
  テストタイムトレーニング(TTT)は、各予測に先立って指定されたパラメータを明示的に更新することで、モデル性能を向上させる。 本研究では,TTTとテキスト内学習(ICL)の組み合わせについて検討する。
  論文  参考訳（メタデータ） (2025-09-30T03:56:44Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
  本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。 提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。 Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-08-19T17:48:11Z)
• Mixture-of-Modules: Reinventing Transformers as Dynamic Assemblies of Modules [96.21649779507831]
  そこで我々は,Mix-of-modules (MoM) と呼ばれる新しいアーキテクチャを提案する。 MoMは、任意の層がその位置に関係なくトークンを計算することができるという直感によって動機付けられている。 MoMはトランスフォーマーのための統一されたフレームワークを提供するだけでなく、冗長性を減らすための柔軟で学習可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-07-09T08:50:18Z)
• Learning Modulated Transformation in GANs [69.95217723100413]
  生成逆数ネットワーク(GAN)のジェネレータに、変調変換モジュール(Modulated transformation module, MTM)と呼ばれるプラグアンドプレイモジュールを装備する。 MTMは、可変位置で畳み込み操作を適用可能な潜在符号の制御下で空間オフセットを予測する。 挑戦的なTaiChiデータセット上での人為的な生成に向けて、StyleGAN3のFIDを21.36から13.60に改善し、変調幾何変換の学習の有効性を実証した。
  論文  参考訳（メタデータ） (2023-08-29T17:51:22Z)
• Efficient GPT Model Pre-training using Tensor Train Matrix Representation [65.96485282393361]
  大規模なトランスフォーマーモデルは数十億のパラメータを特徴としており、デプロイが困難になり、スクラッチからトレーニングコストが禁じられている。 GPT-2アーキテクチャのパラメータ数を削減すべく、完全に接続された層の行列を対応するTrain Matrix(TTM)構造に置き換える。 GPTベースのモデルは最大40%のパラメータを格納し、元のモデルに匹敵するパープレキシティを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:38:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。