論文の概要: TUON: A Tensor-Aware Optimizer Utilizing Tensor-SVD and Polarization for Large Language Model Pretraining

• arxiv url: http://arxiv.org/abs/2610.35130v1
• Date: Mon, 26 Oct 2026 10:04:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.82079
• Title: TUON: A Tensor-Aware Optimizer Utilizing Tensor-SVD and Polarization for Large Language Model Pretraining
• Title（参考訳）: TUON:テンソルSVDと偏極を利用した大規模言語モデル事前学習のためのテンソル認識最適化
• Abstract要約: 我々は、代数-SVD(T-SVD)から派生した変換型代数に基づく小説、textirbfTUONを提案する。 グローバルに展開された行列を分極する手法とは異なり、TUONはユニタリ変換$boldQを介して層を混合し、変換された各スライスを変換し、更新を回復する。 この混合セパレート戦略は、層間多様性を保ちながら層間相関を捉え、不均衡や層間展開を回避する。
• 参考スコア（独自算出の注目度）: 45.58378969009856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large scale language model~(LLM) pretraining is increasingly bottlenecked by optimizer efficiency, driving optimizer design from vector-aware methods such as AdamW to matrix-aware methods. Matrix-aware optimizers such as Muon exploit matrix structure but treat layers independently, neglecting cross-layer correlations. Tensor-aware optimizers are therefore needed, yet existing ones rely on a matricization-based tensor algebra and remain restricted to shallow stacking and specific modules. In this paper, we propose \textbf{TUON}, a novel optimizer built on a transform-based tensor algebra derived from the Tensor-SVD (T-SVD). Unlike methods that polarize a globally unfolded matrix, TUON mixes layers via a unitary transform $\boldsymbol{Q}$ and then polarizes each transformed slice, and inverts the transform to recover the update. This mix-then-separate strategy captures cross-layer correlations while preserving per-layer diversity, avoiding the structural dimension imbalance and cross-layer misalignment of unfolding. Thus it successfully scales to more layers and diverse modules beyond QKV. Theoretically, we prove that TUON performs steepest descent under a $\boldsymbol{Q}$-transformed tensor spectral norm, and identify its update as the tensor polar factor of the T-SVD. We further establish transform non-redundancy, norm and smoothness comparisons with Muon and TEON, and a convergence guarantee. Empirically, TUON improves consistently over Muon and TEON on GPT-124M/350M and Qwen-0.6B/4B, with ablations confirming the transformation mechanism, cross-layer structure beyond two-layer stacking, adaptability beyond QKV, and robustness to the polarization method.
• Abstract（参考訳）: 大規模言語モデル~(LLM)事前学習は最適化の効率によってボトルネックとなり、AdamWのようなベクトル認識手法から行列認識手法まで最適化設計が進められている。 Muon のような行列対応オプティマイザは行列構造を利用するが、層を個別に扱い、層間相関を無視する。 したがって、テンソル対応オプティマイザが必要であるが、既存のオプティマイザは母数化に基づくテンソル代数に依存しており、浅い積み重ねや特定の加群に制限されている。 本稿では、テンソルSVD (T-SVD) から導かれる変換ベースのテンソル代数上に構築された新しい最適化器である \textbf{TUON} を提案する。 グローバルに展開された行列を分極する手法とは異なり、TUONはユニタリ変換$\boldsymbol{Q}$を介して層を混合し、変換された各スライスを分極し、変換を反転して更新を回復する。 この混合セパレート戦略は、層間多様性を保ちながら層間相関を捉え、構造寸法の不均衡や層間不整合を回避する。 このようにして、QKVを超えて、より多くのレイヤや多様なモジュールにスケールすることに成功した。 理論的には、TUONは$\boldsymbol{Q}$-transformed tensor spectrum normの下で最も急降下し、その更新をT-SVDのテンソル極因子として同定する。 さらに、ムオンやテオンとの変換非冗長、ノルム、滑らかさの比較、収束保証を確立する。 実験的に、TUONはGPT-124M/350MおよびQwen-0.6B/4B上のMuonとTEONよりも一貫して改善され、変換機構、二層積層以上の層間構造、QKVを超える適応性、偏極法への堅牢性が確認された。

関連論文リスト

• T-MUON: Tensorizing Muon via t-SVD for Large Language Model Pre-training [19.505305137104706]
  T-MUON は t-SVD に基づく一般化であり、トランスフォーマー勾配を三階テンソルにグループ化する。 正確なT-MUON更新は、$star_M$-transform normの下で最も急勾配であることを示す。 51M から 1.3B までの GPT-2 スタイルと LLaMA スタイルのモデルでは、FineWeb と FineWeb-Edu で訓練されたパラメータに対して、ID変換を持つ頭部型 T-MUON は、DFT、DCT、DST 変換を用いて、AdamW、Muon、および変種よりも低い検証パーリティを一貫して達成している。
  論文  参考訳（メタデータ） (2026-10-18T01:20:16Z)
• Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning [56.24532075189964]
  我々は、厳密に順序付けられたパイプラインで座標白化とスペクトル白化を施した二重白化であるゼータを提案する。 我々はZetaが言語モデリング(0.6Bから8Bパラメータ)、Mix-of-expertsアーキテクチャ、ビジョンタスクにまたがる強力なベースラインに適合しているか、あるいは超越していることを証明する。
  論文  参考訳（メタデータ） (2026-06-12T07:10:17Z)
• Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers [3.433766572511366]
  深層学習の実践において、目覚ましい幾何学的格差は長く続いている。 勾配更新規則は、対応する重みブロックに作用するパラメータ群の下で同値であるべきである。
  論文  参考訳（メタデータ） (2026-05-18T09:17:26Z)
• Pion: A Spectrum-Preserving Optimizer via Orthogonal Equivalence Transformation [30.86228838205224]
  直交同値変換に基づく大規模言語モデル(LLM)学習のためのスペクトル保存であるPionを導入する。 Pion の更新規則は設計選択を体系的に検討し、その収束挙動といくつかの重要な特性を解析する。 実証的な結果から、Pionは事前学習と微調整の両方に標準LLMに代わる安定かつ競争的な代替手段を提供することが示された。
  論文  参考訳（メタデータ） (2026-05-12T17:59:34Z)
• Towards The Implicit Bias on Multiclass Separable Data Under Norm Constraints [3.421126849736858]
  核ノルム制約を通した低階構造を強制するために設計された幾何認識幾何学であるNucGDを紹介する。 スケーラブルなトレーニングを実現するため、非同期電力繰り返しによる効率的なSVDフリー更新ルールを導出する。 我々は、最小バッチサンプリングと運動量によって誘導される勾配ノイズの変動レベルが、期待される最大マージン解に対する収束をどう変調するかを特徴付ける、勾配最適化のダイナミクスの影響を実験的に分析する。
  論文  参考訳（メタデータ） (2026-03-24T05:51:50Z)
• Muon with Spectral Guidance: Efficient Optimization for Scientific Machine Learning [10.647088281181222]
  SpecMuonは、物理インフォームドラーニングのためのスペクトル対応多モード勾配流である。 これは、ムオンのスケールバランス特性を保ちながら、グローバルな損失エネルギーに応じてステップサイズを規制する。 アダム・アダムWよりも早く収束し、安定性を向上させる。
  論文  参考訳（メタデータ） (2026-02-18T03:56:20Z)
• WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
  低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。 いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。 結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
  論文  参考訳（メタデータ） (2025-11-30T16:17:34Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
  直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。 本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
  論文  参考訳（メタデータ） (2021-04-14T23:54:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。