論文の概要: Beyond the Matrix Sign: Quadratic Spectral Descent
- arxiv url: http://arxiv.org/abs/2609.07597v1
- Date: Mon, 07 Sep 2026 15:07:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.451515
- Title: Beyond the Matrix Sign: Quadratic Spectral Descent
- Title（参考訳）: マトリックスのサインの向こうに:四面体スペクトルの輝き
- Abstract要約: 最適更新の特異値と特異方向の両方を曲率で変化させることができることを示す。
GPTプレトレーニングの実験では、QSDはムーンと最近のムーンの変種に対する検証損失を一貫して改善している。
- 参考スコア（独自算出の注目度）: 6.589542614722917
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Muon can be interpreted as optimizing a linear local objective over a spectral-norm ball. This gives a matrix-sign update that preserves the singular directions of the gradient and assigns the same magnitude to all active singular modes. We ask whether these two properties remain optimal when local curvature is taken into account. To answer this question, we keep Muon's spectral-norm constraint unchanged and replace the linear local model with a quadratic one. We call the resulting method \emph{Quadratic Spectral Descent} (QSD). We show that curvature can change both the singular values and the singular directions of the optimal update. To make QSD practical, we approximate curvature with Kronecker-factored statistics and solve the constrained quadratic with a small number of Frank--Wolfe steps, each of which has a closed-form matrix-sign subproblem. We further provide an optimality certificate, a comparison with Muon under the same quadratic surrogate, and an $O(1/K)$ convergence rate for the inner solver. Experiments on GPT pre-training show that QSD consistently improves validation loss over Muon and recent Muon variants, and reduces wall-clock training time by up to $8.49\%$ at matched validation loss.
- Abstract（参考訳）: ミューオンはスペクトルノルム球上での線形局所目的を最適化するものとして解釈できる。
これにより行列符号が更新され、勾配の特異な方向を保ち、すべてのアクティブな特異モードに同じ大きさを割り当てる。
局所曲率を考慮した場合、これらの2つの性質が最適であるかどうかを問う。
この質問に答えるために、ムオンのスペクトルノルムの制約は変化せず、線型局所モデルを二次モデルに置き換える。
QSD (emph{Quadratic Spectral Descent}) と呼ぶ。
最適更新の特異値と特異方向の両方を曲率で変化させることができることを示す。
QSDを実用的なものにするために、Kronecker-factored statistics を用いて曲率を近似し、少数のフランク=ウルフステップで制約付き二次問題を解く。
さらに、最適性証明、同じ二次代理の下でのMuonとの比較、および内部解法に対する$O(1/K)$収束率を提供する。
GPT事前トレーニングの実験では、QSDはムーンと最近のムーンの変種に対する検証損失を一貫して改善し、一致した検証損失で最大8.49 %のウォールタイムトレーニング時間を短縮している。
関連論文リスト
- MALT: Lightweight Curvature-Aware Muon via Diagonal Preconditioning [14.373662883104808]
損失景観の曲率幾何学に対するMuonの感度を低減するためにMALTを提案する。
MALTは、ロスランドスケープの曲率幾何学を捉えるために、メモリとオーバーヘッドの少ない両側対角前処理器を使用する。
論文 参考訳（メタデータ） (2026-08-05T17:26:47Z) - Muon learns balanced solutions in matrix factorization without slow saddle-to-saddle dynamics [0.9798289347944394]
行列分解は$min_mathbfP,mathbfQ |mathbfMstar - mathbfPtopmathbfQ|_mathrmF2$という形式の問題である。
本研究では,Muonパラメータの下での軌跡が勾配降下の軌跡とどのように異なるかを検討した。
論文 参考訳（メタデータ） (2026-06-29T16:17:38Z) - Muon$^p$: Muon with Fractional Spectral Powers [3.223825674658464]
Muon はますます広く使われる勾配であり、$G=USVtop$ を極係数 $UVtop$ に置き換える。
代わりに、有理な$pin(0,1)$に対して、分数スペクトルパワー更新$USpVtop$を使用するMuon$p$を導入する。
以上の結果から, 特異スペクトルの保存が大きな利得をもたらす可能性について重要な知見が得られ, それらを実現するための原則的方法が導入された。
論文 参考訳（メタデータ） (2026-06-11T19:48:12Z) - Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。
ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。
また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
論文 参考訳（メタデータ） (2026-05-11T19:42:48Z) - Orth-Dion: Eliminating Geometric Mismatch in Distributed Low-Rank Spectral Optimization [12.526290684448425]
低ランク勾配圧縮は、ランク-r$要素による更新を表現することで、分散トレーニングにおける通信を減少させる。
列正規化を正しい因子のQR直交化に置き換えるOrth-Dionを提案する。
大規模言語モデルの事前トレーニング実験は、予測された$sqrtr$スケーリングを検証し、Orth-DionがDionの通信コストでMuonへの収束ギャップを閉じていることを示す。
論文 参考訳（メタデータ） (2026-05-07T23:37:37Z) - Delving into Muon and Beyond: Deep Analysis and Extensions [8.297062899157664]
We study Muon as the p = 0 end of a family of a spectrum transformations of form U boldsymbolp V'。
RMS正規化更新は、最初のモーメント更新よりも安定した最適化をもたらす。
この結果から,Muonはスペクトル正規化の有効な形式として理解されているのがよいが,汎用的に優れた最適化手法ではないことが示唆された。
論文 参考訳（メタデータ） (2026-02-04T15:40:47Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z) - Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
制約付き非線形最適化問題のオンライン統計的推測を考察する。
これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
論文 参考訳（メタデータ） (2022-05-27T00:34:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。