論文の概要: Orthogonal Witness Control for Muon Optimization via Sigmoid Spectral Reshaping
- arxiv url: http://arxiv.org/abs/2609.33194v1
- Date: Sun, 27 Sep 2026 04:21:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 02:18:32.265137
- Title: Orthogonal Witness Control for Muon Optimization via Sigmoid Spectral Reshaping
- Title（参考訳）: Sigmoid Spectral Reshapingによるムーン最適化のための直交性制御
- Abstract要約: EmphSoren (textSpec textbfOrtho textbfReshapitextbfng) は勾配の特異部分空間を保存し、その特異値に有界モノトンシグモノイド変換を適用した行列である。
これはスペクトルを完全に平坦にすることなく支配的なモードを滑らかに圧縮する。
- 参考スコア（独自算出の注目度）: 13.265026498427831
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Matrix-valued optimizers such as Muon exploit the spectral structure of neural network updates through Newton--Schulz orthogonalization, but their near-flattening of the singular spectrum discards relative magnitude information across gradient modes. We introduce \emph{Soren} (\textbf{S}pectral \textbf{O}rthogonal \textbf{Re}shapi\textbf{n}g), a matrix-valued optimizer that preserves the singular subspaces of the gradient while applying a bounded, monotone sigmoid transformation to its singular values. This smoothly compresses dominant modes without fully flattening the spectrum. We interpret Soren as a positive-definite preconditioned gradient method and establish convergence guarantees under relative smoothness and metric Polyak--Łojasiewicz geometry. To avoid explicit singular value decomposition, we further develop a finite-depth Soft Newton--Schulz (SNS) polynomial realization of the sigmoid spectral map and characterize how its spectral approximation affects the induced convergence geometry. Experiments across LLM pre-training, supervised fine-tuning, and direct preference optimization demonstrate the effectiveness and robustness of Soren against established optimizers.
- Abstract（参考訳）: Muon などの行列値オプティマイザはNewton-Schulz 直交化によるニューラルネットワーク更新のスペクトル構造を利用するが、特異スペクトルのほぼ平坦化は勾配モードをまたいだ相対等級情報を捨てる。
我々は、その特異値に有界単調シグモノイド変換を適用しながら勾配の特異部分空間を保存する行列値オプティマイザである \emph{Soren} (\textbf{S}pectral \textbf{O}rthogonal \textbf{Re}shapi\textbf{n}g) を導入する。
これはスペクトルを完全に平坦にすることなく支配的なモードを滑らかに圧縮する。
我々はソレンを正定条件勾配法と解釈し、相対滑らかさと計量ポリャク-ジョジャシエヴィチ幾何の下で収束保証を確立する。
特異値の明確な分解を避けるために、シグモイドスペクトルマップの有限深度Soft Newton-Schulz多項式実現を開発し、そのスペクトル近似が帰納収束幾何学にどのように影響するかを特徴付ける。
LLM事前学習、教師付き微調整、直接選好最適化による実験は、確立された最適化に対するソレンの有効性と堅牢性を示す。
関連論文リスト
- Muse: Representation Geometry of Muon Beyond Normalized Momentum [26.90642116529718]
ミューオン型は行列運動量に対して極写像を適用するが、その更新は曲率化前の各パラメータブロックの表現にも依存する。
我々は、同じ運動量規則とニュートンの運動量規則を共有するムオンスタイルの族であるメソッドを導入する。
バランスのとれた非ネイティブ表現はネイティブ表現と一致するが、より短い次元の縮小はスケーリングと特異チャネルのサポートを弱め、正規化運動量の増加につながる。
論文 参考訳（メタデータ） (2026-07-16T03:42:21Z) - Constrained Stochastic Spectral Preconditioning Converges for Nonconvex Objectives [48.91820744387913]
我々は,Muon と Scions に着目した事前条件付き勾配法を開発した。
我々は,様々な凸や非還元制約を扱えるアルゴリズム群を紹介した。
論文 参考訳（メタデータ） (2026-05-12T09:36:13Z) - Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters [48.3175117923623]
ほとんどの勾配クリッピング規則は、全てのパラメータを重ベクトルとして扱い、現代のベクトルの行列構造を無視する。
実験により、データのアウトリーチは、少数のリード特異値のみを増幅することを示した。
この現象を動機として,特異値で安定化するクリッピングを提案する。
論文 参考訳（メタデータ） (2026-05-12T09:24:59Z) - Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning [72.62839712454196]
スペクトル最適化の最近の進歩、特にムーンは、スティーフェル多様体への更新ステップの制限が、トレーニングと改善を著しく加速することを示した。
我々は、この「利他的」制約は、曲率スペクトルが非常に重く、不調であることが知られているディープニューラルネットワークに最適であると主張している。
textbfShampoo の textbfStruct を利用した textbfMousse (textbfMuon textbfOptimization textbfUtilizing textbfShampoo's textbfStruct を提案する。
論文 参考訳（メタデータ） (2026-03-10T14:03:49Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳（メタデータ） (2026-02-24T05:32:03Z) - Muon with Spectral Guidance: Efficient Optimization for Scientific Machine Learning [10.647088281181222]
SpecMuonは、物理インフォームドラーニングのためのスペクトル対応多モード勾配流である。
これは、ムオンのスケールバランス特性を保ちながら、グローバルな損失エネルギーに応じてステップサイズを規制する。
アダム・アダムWよりも早く収束し、安定性を向上させる。
論文 参考訳（メタデータ） (2026-02-18T03:56:20Z) - Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。
解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
論文 参考訳（メタデータ） (2026-01-20T00:08:31Z) - Isotropic Curvature Model for Understanding Deep Learning Optimization: Is Gradient Orthogonalization Optimal? [2.5336146096572745]
本稿では,重みの行列構造を利用して,一反復でディープラーニングの最適化を解析するモデルを提案する。
最適更新行列は、元の勾配行列のスペクトルをより均一にすることで得られることを示す。
深層学習と言語モデルの学習のための新しい最適化手法の設計に等方的曲率モデルを活用する方法について,今後の研究について論じる。
論文 参考訳（メタデータ） (2025-11-01T19:37:29Z) - Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness [51.302674884611335]
本研究は、急勾配と条件勾配のアプローチを組み合わせることでノルムクリッピングを一般化するハイブリッド非ユークリッド最適化手法を提案する。
本稿では、ディープラーニングのためのアルゴリズムのインスタンス化について論じ、画像分類と言語モデリングにおけるそれらの特性を実証する。
論文 参考訳（メタデータ） (2025-06-02T17:34:29Z) - Euclidean Distance Matrix Completion via Asymmetric Projected Gradient Descent [25.846262685970164]
本稿では,Burer-Monteiro因子化に基づく勾配型アルゴリズムの提案と解析を行う。
部分ユークリッド距離測定から点集合構成を再構成する。
論文 参考訳（メタデータ） (2025-04-28T07:13:23Z) - Hessian Based Smoothing Splines for Manifold Learning [0.228438857884398]
多様体学習における多次元平滑化スプラインアルゴリズムを提案する。
平らな多様体のソボレフ空間上の二次形式に、薄板スプラインの曲げエネルギーペナルティを一般化する。
解の存在と一意性は、ヒルベルト空間を再現する理論を適用することによって示される。
論文 参考訳（メタデータ） (2023-02-10T02:49:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。