論文の概要: Intrinsic Muon: Spectral Optimization on Riemannian Matrix Manifolds

• arxiv url: http://arxiv.org/abs/2605.09238v1
• Date: Sun, 10 May 2026 00:39:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.136154
• Title: Intrinsic Muon: Spectral Optimization on Riemannian Matrix Manifolds
• Title（参考訳）: 固有ミューオン:リーマン行列多様体のスペクトル最適化
• Authors: Yibang Li, Bihari Lal Pandey, Ravi Sah, Andi Han, Cyrus Mostajeran, Pratik Jawanpuria, Bamdev Mishra,
• Abstract要約: ミューオンと関連するノルム制約行列オラクルは、大規模学習問題の中心となっている。 Intrinsic Muon (iMuon) は固定ランク, SPD, Stiefel, Grassmann 行列の閉形式更新を行う統一フレームワークである。 LLMのLoRA微調整、画像分類、サブスペース学習の実験は、提案手法を実証している。
• 参考スコア（独自算出の注目度）: 14.996920125049002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Muon and related norm-constrained matrix optimizers have become central to large-scale learning problems. They are formulated as a linear maximization oracle (LMO) over an ambient matrix-norm ball in unconstrained Euclidean space. However, these do not generalize cleanly to manifold-valued parameters such as low-rank factorizations, orthogonality constraints, or symmetric positive definite (SPD) matrices. Naively restricting the Muon LMO to the tangent space (i) breaks quotient symmetries and (ii) couples the tangent-space constraint with an ambient norm bound, thereby obstructing closed-form solutions on various manifolds of interest. We resolve both issues with a single observation: every Riemannian metric canonically lifts a unitarily invariant Euclidean norm to an intrinsic norm on each tangent space, and the resulting intrinsic norm constrained LMO is symmetry preserving. Building on this, we introduce intrinsic Muon (iMuon), a unified framework that yields closed-form updates on the fixed-rank, SPD, Stiefel, and Grassmann manifolds for any unitarily invariant norm, including the spectral, Frobenius, and nuclear norms. We establish convergence guarantees for both deterministic and stochastic iMuon with rate constants that depend only on the manifold dimension. Notably, on the fixed-rank manifold this constant depends only on the rank, making the rate independent of factor conditioning and removing the runtime factor-rescaling required by prior work. Experiments on LoRA finetuning of LLMs, image classification, and subspace learning illustrate the efficacy of the proposed approach.
• Abstract（参考訳）: ミューオンおよび関連するノルム制約行列最適化器は、大規模学習問題の中心となっている。 これらは、非制約ユークリッド空間における周囲行列ノルム球上の線型最大化オラクル(LMO)として定式化される。 しかしこれらは、低ランク因子化、直交制約、対称正定値行列(SPD)などの多様体値パラメータにきれいに一般化するものではない。 Muon LMO を接空間に内在的に制限する 一 余剰対称性を破り、 (ii) 接空間の制約を周囲ノルム境界に結合し、様々な多様体上の閉形式解を妨害する。 すべてのリーマン計量はユニタリ不変ユークリッドノルムを各接空間上の固有ノルムに一意的に持ち上げ、その結果の固有ノルム制約 LMO は対称性保存である。 これに基づいて、スペクトル、フロベニウス、核ノルムを含む任意の単位不変ノルムに対して、固定ランク、SPD、スティーフェル、グラスマン多様体の閉形式更新をもたらす統一的なフレームワークである内在的ムオン(iMuon)を導入する。 我々は、多様体次元にのみ依存する速度定数を持つ決定論的および確率的 iMuon の収束保証を確立する。 特に、固定階数多様体では、この定数は階数にのみ依存し、因子条件に依存せず、前の作業で必要とされる実行時因子再スケーリングを取り除く。 LLMのLoRA微調整、画像分類、サブスペース学習の実験は、提案手法の有効性を示している。

関連論文リスト

• Muon Dynamics as a Spectral Wasserstein Flow [21.689846521201588]
  正半定値行列に関するワッサーシュタインノルムの族を導入する。 静的ベナモ・ブレニエ式と動的ベナモ・ブレニエ式との同値性を証明する。 流れモデルに付随する厳密な勾配を同定する。
  論文  参考訳（メタデータ） (2026-04-06T17:41:12Z)
• Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation [56.361076943802594]
  CanonFlowは、挑戦的なGEOM-DRUGデータセット上で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-16T18:58:55Z)
• Manifold constrained steepest descent [0.0]
  多様体上の最適化のための単一ループフレームワークであるemphManifold Constrained Steepest Descent (MCSD)を提案する。 また、Stiefel多様体上のMCSDのスペクトル特殊化であるemphSPELを導入する。
  論文  参考訳（メタデータ） (2026-01-29T10:08:37Z)
• Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
  本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。 二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
  論文  参考訳（メタデータ） (2025-09-23T09:14:39Z)
• Absorb and Converge: Provable Convergence Guarantee for Absorbing Discrete Diffusion Models [66.0716790920952]
  吸収率行列を用いた離散拡散モデルに対する第1次有限時間誤差境界と収束速度解析を提供する。 我々は、吸収率行列の下での$tau$-leapingと均一化サンプリングの双方に対する最初の収束保証を確立する。 適切な仮定の下では、早期に停止することなく収束保証を提供する。
  論文  参考訳（メタデータ） (2025-06-02T23:14:35Z)
• Intrinsic Regularization via Curved Momentum Space: A Geometric Solution to Divergences in Quantum Field Theory [0.0]
  量子場理論(QFT)における紫外線の発散は、長い間、根本的な課題であった。 運動量空間の曲面幾何学からUV正則化が自然に現れる新しい自己整合的アプローチを提案する。 我々はミンコフスキー空間へのシームレスな拡張を示し、相対論的QFTにおける正規化特性を維持する。
  論文  参考訳（メタデータ） (2025-02-20T10:49:26Z)
• Mirror Descent Under Generalized Smoothness [23.5387392871236]
  一般ノルムと双対という観点からヘッセンのノルムを測定する新しい$ell*$-smoothnessの概念を導入する。 我々は、古典的な滑らかさの下でのレートに一致するミラー・ディフレッシュ型アルゴリズムの収束性を確立する。
  論文  参考訳（メタデータ） (2025-02-02T11:23:10Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。