論文の概要: Tensorion: A Tensor-Aware Generalization of the Muon Optimizer

• arxiv url: http://arxiv.org/abs/2606.25975v1
• Date: Wed, 24 Jun 2026 15:46:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.38878
• Title: Tensorion: A Tensor-Aware Generalization of the Muon Optimizer
• Title（参考訳）: Tensorion: ミューオン最適化のテンソル対応一般化
• Abstract要約: 近年の研究では、行列構造の利用により力学が向上することが示されている。 顕著な例は、スペクトルノルム制約の下で最も急降下を行うムオンである。 次のステップと導入は、Muonの制約された最適化の観点を拡張するテンソル認識である。
• 参考スコア（独自算出の注目度）: 38.75730408705132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Common first-order optimizers, such as Adam, implicitly treat each parameter block as an unstructured vector, which disregards the multilinear weight structure present in many modern machine learning models. Recent work has shown that exploiting matrix structure can improve optimization dynamics. A notable example is Muon, which performs steepest descent under the spectral norm constraint. We take the next step and introduce Tensorion, a tensor-aware optimizer that extends Muon's constrained optimization perspective from matrices to higher-order tensors. Tensorion is built around a linear minimization oracle (LMO) over a tensor norm ball. The norm is carefully chosen to balance two objectives: tightly bounding the tensor spectral norm, while still keeping the LMO tractable. This LMO becomes computable because it reduces to operations on adaptively selected unfolding matrices. Notably, when restricted to order-2 tensors (i.e., matrices), Tensorion recovers Muon exactly. Experiments on tensor-based computer vision problems suggest that Tensorion can offer improved convergence behavior and more stable gradient updates compared with Adam-based and existing tensor-aware baselines in the evaluated settings.
• Abstract（参考訳）: アダムのような一般的な一階述語オプティマイザは、各パラメータブロックを非構造ベクトルとして暗黙的に扱い、現代の機械学習モデルに存在する多線形重み構造を無視している。 近年の研究では,行列構造の利用により最適化のダイナミクスが向上することが示されている。 顕著な例は、スペクトルノルム制約の下で最も急降下を行うムオンである。 次のステップで、Muonの制約付き最適化視点を行列から高階テンソルまで拡張するテンソル対応最適化器であるTensorionを導入する。 テンソルは、テンソルノルムボール上の線形最小化オラクル(LMO)の周りに構築される。 ノルムは2つの目標のバランスをとるために慎重に選択される: テンソルスペクトルノルムを厳密に拘束する一方で、LMOは取り外し可能である。 このLMOは、適応的に選択された展開行列上の操作に還元されるため計算可能となる。 特に、オーダー2テンソル(すなわち行列)に制限された場合、テンソルオンはムオンを正確に回復する。 テンソルベースのコンピュータビジョン問題に対する実験により、テンソルオンはAdamベースや既存のテンソル認識ベースラインと比較してコンバージェンス動作を改善し、より安定した勾配更新を提供できることが示唆された。

関連論文リスト

• Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
  EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。 これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。 アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
  論文  参考訳（メタデータ） (2026-06-24T15:40:26Z)
• Scale-Invariant Neural Network Optimization: Norm Geometry and Heavy-Tailed Noise [12.977441534320041]
  スペクトルノルムを持つスケール不変の1次法は$(minm, n-frac3p-2p-1)の呼び出しを必要とすることを示す。 我々は、標準がスペクトルであり、ヘシアンがリプシッツであるとき、バッチ法が$(minm, n-frac5p2p-2p-2)$のマッチング境界を達成することを証明した。
  論文  参考訳（メタデータ） (2026-05-18T15:13:18Z)
• Decoupling Variance and Scale-Invariant Updates in Adaptive Gradient Descent for Unified Vector and Matrix Optimization [14.136955342888987]
  我々はAdaGradの更新を改訂し、分散適応項とスケール不変項に分解する。 これは、ベクトルベースの分散適応と行列スペクトル最適化をブリッジするフレームワークである、textbfDeVA$$textbfV$ariance $textbfA$daptationを生成する。
  論文  参考訳（メタデータ） (2026-02-06T17:06:42Z)
• Learnable Multipliers: Freeing the Scale of Language Model Matrix Layers [11.445970271488095]
  学習可能な乗算器を導入し,行列層に重み減衰を適用するための最適尺度を学習する。 この手法は muP 乗算器の学習可能で表現性の高い一般化とみなすことができる。 十分に調整された muP ベースラインを上回り、チューニングの計算オーバーヘッドを減らし、前方通過対称性や学習した乗算器の幅スケーリングといった実用的な質問を表面化する。
  論文  参考訳（メタデータ） (2026-01-08T12:41:49Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Decomposable Sparse Tensor on Tensor Regression [1.370633147306388]
  テンソル回帰のスパースローランクテンソルを考えると、予測子 $mathcalX$ とレスポンス $mathcalY$ はどちらも高次元テンソルである。 本稿では,契約部と生成部から構成されるステージワイド探索に基づく高速解を提案する。
  論文  参考訳（メタデータ） (2022-12-09T18:16:41Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• Tensor Completion Made Practical [19.229475414802213]
  交代最小化の新たな変種を導入し、ガイド収束の進行度をテンソル設定にどのように適応させる必要があるかを理解することから着想を得た。 このアルゴリズムは, 相関係数が高く, ほぼ線形時間で実装できる場合でも, 真のテンソルに線形収束することを示す。 対照的に、驚くべきことに、交代最小化の標準的なバージョンは、我々の新しいツイストなしで、実際に劇的に遅い速度で収束できることが示される。
  論文  参考訳（メタデータ） (2020-06-04T21:09:44Z)
• Spectral Learning on Matrices and Tensors [74.88243719463053]
  テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。 また,効率的なテンソル分解法を設計するための計算手法についても概説する。
  論文  参考訳（メタデータ） (2020-04-16T22:53:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。