論文の概要: DGA-Muon: Decoupled Geometry-Aligned Adaptive Scaling for Muon

• arxiv url: http://arxiv.org/abs/2610.06578v2
• Date: Wed, 07 Oct 2026 11:39:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.477341
• Title: DGA-Muon: Decoupled Geometry-Aligned Adaptive Scaling for Muon
• Title（参考訳）: DGA-Muon:Muonの幾何学と適応スケーリングの分離
• Abstract要約: 我々はNorMuonの適応性に関する最初の体系的理論的分析を提供する。 ノルムンの適応性は主に直交化誘導幾何から生じることを示す。 提案する2つの基本設計原理は,Muon に望ましい適応機構を満足させるものである。
• 参考スコア（独自算出の注目度）: 7.449687168345967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While NorMuon has achieved strong empirical performance in pretraining, its underlying adaptive mechanism remains largely heuristic and poorly understood. In this work, we provide the first systematic theoretical analysis of NorMuon's adaptivity, revealing that it primarily arises from orthogonalization-induced geometry rather than genuine optimization dynamics, serving to offset the resulting geometric non-uniformity. Under exact orthogonalization, the adaptive scaling factors degenerate into a single global scalar for square and wide matrices, while for tall matrices their variation results from unevenly distributed row energy after orthogonalization. Under approximate orthogonalization, the orthogonality residuals introduce additional variation into the scaling, giving rise to a counterintuitive Orthogonalization--Adaptivity Paradox: more accurate orthogonalization weakens adaptivity. We further show that NorMuon's rigid row-wise scaling is geometrically misaligned with the one-sided orthogonal structure of tall matrices by distorting column orthogonality. Motivated by these limitations, we propose two core design principles that a desirable adaptive mechanism for Muon should satisfy. First, adaptive scaling should be decoupled from orthogonalization, with the scaling factors computed directly from raw gradients. Second, adaptive scaling should be aligned with the shape-dependent orthogonal structure of the polar factor, using row-wise scaling for wide matrices and column-wise scaling for tall matrices. We prove that this geometry-aligned scaling preserves the orthogonal structure of the update. By incorporating several other techniques, we obtain Decoupled Geometry-Aligned Muon (DGA-Muon). We establish convergence guarantees for DGA-Muon and empirically validate both our theoretical characterization of NorMuon's scaling degeneration and the superiority of DGA-Muon.
• Abstract（参考訳）: NorMuonは、事前トレーニングで強い経験的性能を達成したが、その基盤となる適応メカニズムは、主にヒューリスティックで理解されていないままである。 本研究では、ノルムンの適応性に関する最初の体系的理論的解析を行い、これは真の最適化力学よりも直交化によって引き起こされる幾何から生じ、結果として得られる幾何学的非一様性を相殺するのに役立つことを示した。 厳密な直交化の下では、適応スケーリング因子は正方行列と広行列に対して1つの大域スカラーに縮退する一方、高い行列に対しては、その変動は直交化後の不均一に分散された行エネルギーから生じる。 近似直交化の下で、直交残差はスケーリングにさらなるバリエーションをもたらし、反直観的直交化(英語版)-適応パラドックス(英語版)(Adaptivity Paradox):より正確な直交化は適応性を弱める。 さらに、NorMuonの厳密な行方向のスケーリングは、柱直交を歪ませることにより、背の高い行列の片側直交構造と幾何学的に一致しないことが示される。 これらの制限により、Muonの望ましい適応メカニズムが満たすべき2つの中核設計原則を提案する。 まず、適応的なスケーリングは直交化から切り離され、スケーリング要素は生勾配から直接計算される。 第二に、適応的スケーリングは、幅の広い行列の行ワイドスケーリングと背の高い行列の列ワイドスケーリングを用いて、極因子の形状に依存した直交構造と整合するべきである。 この幾何整列スケーリングが更新の直交構造を保存することを証明している。 いくつかの他の手法を取り入れることで、デカップリング幾何配向ムオン(DGA-Muon)を得る。 我々は,DGA-Muonの収束保証を確立し,NorMuonのスケーリング劣化の理論的特徴とDGA-Muonの優位性の両方を実証的に検証する。

関連論文リスト

• Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning [56.24532075189964]
  我々は、厳密に順序付けられたパイプラインで座標白化とスペクトル白化を施した二重白化であるゼータを提案する。 我々はZetaが言語モデリング(0.6Bから8Bパラメータ)、Mix-of-expertsアーキテクチャ、ビジョンタスクにまたがる強力なベースラインに適合しているか、あるいは超越していることを証明する。
  論文  参考訳（メタデータ） (2026-06-12T07:10:17Z)
• Matrix-Valued Optimism is Matrix-Valued Augmentation: Additive Hybrid Designs for Constrained Optimization [4.093285905350807]
  拡張ラグランジアンおよび楽観的な原始-双対法は、一見異なるメカニズムを通して等式制約付き最適化を安定化させる。 近年の研究では、これらのメカニズムはスカラーパラメータと等価であることが示されている。 対称行列パラメータに対して、理想的原始軌道は補正行列にのみ依存する。
  論文  参考訳（メタデータ） (2026-05-07T12:39:22Z)
• LARGE: A Locally Adaptive Regularization Approach for Estimating Gaussian Graphical Models [2.3696387635465608]
  グラフ推定のための局所適応正規化法(LARGE)を開発した。 LARGEは、グラフ推定と選択を改善するためにノードワイズチューニングパラメータを適応的に学習するアプローチである。 実際のfMRIデータセットから脳の接続性を推定し,本手法の実用性を示す。
  論文  参考訳（メタデータ） (2026-01-14T18:37:50Z)
• Isotropic Curvature Model for Understanding Deep Learning Optimization: Is Gradient Orthogonalization Optimal? [2.5336146096572745]
  本稿では,重みの行列構造を利用して,一反復でディープラーニングの最適化を解析するモデルを提案する。 最適更新行列は、元の勾配行列のスペクトルをより均一にすることで得られることを示す。 深層学習と言語モデルの学習のための新しい最適化手法の設計に等方的曲率モデルを活用する方法について,今後の研究について論じる。
  論文  参考訳（メタデータ） (2025-11-01T19:37:29Z)
• AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates [5.049533819651459]
  我々は、標準ベースの更新とaGradタイプのステップを組み合わせた新しい適応型更新AdaGOを提案する。 AdaGOは更新の直交性を保持しており、これはスペクトル降下と解釈できる。
  論文  参考訳（メタデータ） (2025-09-03T03:42:22Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。