論文の概要: DGA-Muon: Decoupled Geometry-Aligned Adaptive Scaling for Muon

• arxiv url: http://arxiv.org/abs/2610.06578v1
• Date: Mon, 05 Oct 2026 15:56:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.476738
• Title: DGA-Muon: Decoupled Geometry-Aligned Adaptive Scaling for Muon
• Title（参考訳）: DGA-Muon:Muonの幾何学と適応スケーリングの分離
• Abstract要約: NorMuonは行ワイド適応スケーリングでMuonを強化することで、大規模プレトレーニングにおいて強力な経験的パフォーマンスを実現している。 我々はNorMuonの適応性に関する最初の体系的分析を提供する。 提案する2つの基本設計原理は,Muon に望ましい適応機構を満足させるものである。
• 参考スコア（独自算出の注目度）: 7.449687168345967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While NorMuon has achieved strong empirical performance in large-scale pretraining by enhancing Muon with row-wise adaptive scaling, its underlying adaptive mechanism remains poorly understood. In this work, we provide the first systematic analysis of NorMuon's adaptivity, revealing that it originates primarily from orthogonalization-induced geometry rather than genuine optimization-relevant information. Under exact orthogonalization, the adaptive scaling factors degenerate into a single global scalar for square and wide matrices, while for tall matrices their variation arises from the non-uniform distribution of row energy after orthogonalization. Under approximate orthogonalization, the orthogonality residual introduces additional variation into the scaling factors, leading to the \textit{Orthogonalization--Adaptivity Paradox}: more accurate orthogonalization weakens adaptivity. We further show that NorMuon's rigid row-wise scaling is geometrically misaligned with the one-sided orthogonal structure of tall matrices. Based on the analysis of these limitations, we propose two core design principles that a desirable adaptive mechanism for Muon should satisfy. First, adaptive scaling should be decoupled from orthogonalization, with the scaling factors computed directly from raw gradients. Second, adaptive scaling should be aligned with the shape-dependent orthogonal structure of the polar factor, using row-wise scaling for wide matrices and column-wise scaling for tall matrices. By incorporating several other design considerations, including sum-based second-moment estimates, bias correction, and adaptive clipping of scaling factors, we obtain the Decoupled Geometry-Aligned Muon (DGA-Muon) optimizer. We establish convergence guarantees for DGA-Muon and empirically validate both our theoretical characterization of NorMuon's scaling degeneration and the superiority of DGA-Muon over NorMuon.
• Abstract（参考訳）: NorMuon は行ワイド適応スケーリングによる Muon の強化により,大規模プレトレーニングにおいて強い経験的性能を達成しているが,その基盤となる適応機構はいまだに理解されていない。 本研究ではNorMuonの適応性に関する最初の体系的解析を行い、それが真の最適化関連情報ではなく、主に直交化誘起幾何に由来することを明らかにした。 厳密な直交化の下では、適応的スケーリング因子は正方行列と広行列に対して単一の大域スカラーに縮退する一方、高い行列に対しては直交化後の行エネルギーの非一様分布からその変動が生じる。 近似直交化の下では、直交残差はスケーリング因子にさらなる変動をもたらし、より正確な直交化は適応性を弱める。 さらに、ノルムーンの厳密な行方向のスケーリングは、高い行列の片側直交構造と幾何学的に一致しないことが示される。 これらの制約の分析に基づいて、Muonの望ましい適応メカニズムが満たすべき2つの中核設計原則を提案する。 まず、適応的なスケーリングは直交化から切り離され、スケーリング要素は生勾配から直接計算される。 第二に、適応的スケーリングは、幅の広い行列の行ワイドスケーリングと背の高い行列の列ワイドスケーリングを用いて、極因子の形状に依存した直交構造と整合するべきである。 和に基づく2次モーメント推定,バイアス補正,スケーリング因子の適応的クリッピングなど,その他の設計上の考慮事項を取り入れることで,デカップリング幾何配向ミューオン(DGA-Muon)オプティマイザを得る。 我々は、DGA-Muonの収束保証を確立し、NorMuonのスケーリング劣化の理論的特徴とDGA-MuonのNorMuonに対する優位性の両方を実証的に検証する。

関連論文リスト

• Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning [56.24532075189964]
  我々は、厳密に順序付けられたパイプラインで座標白化とスペクトル白化を施した二重白化であるゼータを提案する。 我々はZetaが言語モデリング(0.6Bから8Bパラメータ)、Mix-of-expertsアーキテクチャ、ビジョンタスクにまたがる強力なベースラインに適合しているか、あるいは超越していることを証明する。
  論文  参考訳（メタデータ） (2026-06-12T07:10:17Z)
• Matrix-Valued Optimism is Matrix-Valued Augmentation: Additive Hybrid Designs for Constrained Optimization [4.093285905350807]
  拡張ラグランジアンおよび楽観的な原始-双対法は、一見異なるメカニズムを通して等式制約付き最適化を安定化させる。 近年の研究では、これらのメカニズムはスカラーパラメータと等価であることが示されている。 対称行列パラメータに対して、理想的原始軌道は補正行列にのみ依存する。
  論文  参考訳（メタデータ） (2026-05-07T12:39:22Z)
• LARGE: A Locally Adaptive Regularization Approach for Estimating Gaussian Graphical Models [2.3696387635465608]
  グラフ推定のための局所適応正規化法(LARGE)を開発した。 LARGEは、グラフ推定と選択を改善するためにノードワイズチューニングパラメータを適応的に学習するアプローチである。 実際のfMRIデータセットから脳の接続性を推定し,本手法の実用性を示す。
  論文  参考訳（メタデータ） (2026-01-14T18:37:50Z)
• Isotropic Curvature Model for Understanding Deep Learning Optimization: Is Gradient Orthogonalization Optimal? [2.5336146096572745]
  本稿では,重みの行列構造を利用して,一反復でディープラーニングの最適化を解析するモデルを提案する。 最適更新行列は、元の勾配行列のスペクトルをより均一にすることで得られることを示す。 深層学習と言語モデルの学習のための新しい最適化手法の設計に等方的曲率モデルを活用する方法について,今後の研究について論じる。
  論文  参考訳（メタデータ） (2025-11-01T19:37:29Z)
• AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates [5.049533819651459]
  我々は、標準ベースの更新とaGradタイプのステップを組み合わせた新しい適応型更新AdaGOを提案する。 AdaGOは更新の直交性を保持しており、これはスペクトル降下と解釈できる。
  論文  参考訳（メタデータ） (2025-09-03T03:42:22Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。