論文の概要: Muon with Spectral Guidance: Efficient Optimization for Scientific Machine Learning

• arxiv url: http://arxiv.org/abs/2602.16167v1
• Date: Wed, 18 Feb 2026 03:56:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.50711
• Title: Muon with Spectral Guidance: Efficient Optimization for Scientific Machine Learning
• Title（参考訳）: Muon with Spectral Guidance:科学機械学習の効率的な最適化
• Authors: Binghang Lu, Jiahao Zhang, Guang Lin,
• Abstract要約: SpecMuonは、物理インフォームドラーニングのためのスペクトル対応多モード勾配流である。 これは、ムオンのスケールバランス特性を保ちながら、グローバルな損失エネルギーに応じてステップサイズを規制する。 アダム・アダムWよりも早く収束し、安定性を向上させる。
• 参考スコア（独自算出の注目度）: 10.647088281181222
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physics-informed neural networks and neural operators often suffer from severe optimization difficulties caused by ill-conditioned gradients, multi-scale spectral behavior, and stiffness induced by physical constraints. Recently, the Muon optimizer has shown promise by performing orthogonalized updates in the singular-vector basis of the gradient, thereby improving geometric conditioning. However, its unit-singular-value updates may lead to overly aggressive steps and lack explicit stability guarantees when applied to physics-informed learning. In this work, we propose SpecMuon, a spectral-aware optimizer that integrates Muon's orthogonalized geometry with a mode-wise relaxed scalar auxiliary variable (RSAV) mechanism. By decomposing matrix-valued gradients into singular modes and applying RSAV updates individually along dominant spectral directions, SpecMuon adaptively regulates step sizes according to the global loss energy while preserving Muon's scale-balancing properties. This formulation interprets optimization as a multi-mode gradient flow and enables principled control of stiff spectral components. We establish rigorous theoretical properties of SpecMuon, including a modified energy dissipation law, positivity and boundedness of auxiliary variables, and global convergence with a linear rate under the Polyak-Lojasiewicz condition. Numerical experiments on physics-informed neural networks, DeepONets, and fractional PINN-DeepONets demonstrate that SpecMuon achieves faster convergence and improved stability compared with Adam, AdamW, and the original Muon optimizer on benchmark problems such as the one-dimensional Burgers equation and fractional partial differential equations.
• Abstract（参考訳）: 物理インフォームドニューラルネットワークとニューラル演算子は、不条件勾配、多スケールスペクトルの振る舞い、物理的制約によって引き起こされる剛性によって引き起こされる厳しい最適化困難に悩まされることが多い。 近年、Muonオプティマイザは勾配の特異ベクトルベースで直交した更新を行い、幾何学的条件付けを改善することで、公約を示す。 しかし、単位特異値の更新は、過度に攻撃的なステップを引き起こし、物理情報学習に適用した場合の明確な安定性保証が欠如する可能性がある。 そこで本研究では,Muonの直交化幾何とモード緩和スカラー補助変数(RSAV)機構を統合するスペクトル対応オプティマイザであるSpecMuonを提案する。 行列値勾配を特異モードに分解し、RSAV更新を支配的なスペクトル方向に沿って個別に適用することにより、SpecMuonは、Muonのスケールバランス特性を保ちながら、グローバル損失エネルギーに応じてステップサイズを適応的に規制する。 この定式化は、最適化を多モード勾配流として解釈し、硬質スペクトル成分の原理制御を可能にする。 我々はSpecMuonの厳密な理論的性質を確立し、これには修正エネルギー散逸法、補助変数の正と有界性、およびポリアック・ロジャシエヴィチ条件の下での線形速度による大域収束が含まれる。 1次元バーガース方程式や分数偏微分方程式のようなベンチマーク問題に対するAdam,AdamW,および元のMuonオプティマイザと比較して,SpecMuonはより高速な収束と安定性の向上を実現している。

関連論文リスト

• Physics-Informed Chebyshev Polynomial Neural Operator for Parametric Partial Differential Equations [17.758049557300826]
  物理インフォームドチェビシェフ多言語ニューラル演算子(CPNO)について紹介する。 CPNOは不安定な単項展開を数値的に安定なチェビシェフスペクトルベースで置き換える。 ベンチマークパラメタライズドPDEの実験では、CPNOはより優れた精度、より高速な収束、ハイパーパラメータの堅牢性の向上を実現している。
  論文  参考訳（メタデータ） (2026-02-02T07:19:56Z)
• FISMO: Fisher-Structured Momentum-Orthogonalized Optimizer [30.184978506988767]
  我々は、フィッシャー情報幾何を通して異方性ニューロトロピックな幾何情報を含むFISMOを紹介する。 FISMOは、確立されたベースラインよりも優れた効率と最終性能を達成する。
  論文  参考訳（メタデータ） (2026-01-29T14:05:04Z)
• Majorization-Minimization Networks for Inverse Problems: An Application to EEG Imaging [4.063392865490957]
  逆問題はしばしば誤りを犯し、強い安定性と収束を保証する最適化スキームを必要とする。 本稿では,二段階最適化設定における逆問題に対する学習されたMajorization-Minimization(MM)フレームワークを提案する。 我々は,古典的MM降下保証を保ちながら,各MMステップを管理する構造化曲率行列を学習する。
  論文  参考訳（メタデータ） (2026-01-23T10:33:45Z)
• Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
  線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。 解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-20T00:08:31Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Reparameterized LLM Training via Orthogonal Equivalence Transformation [54.80172809738605]
  直交同値変換を用いてニューロンを最適化する新しいトレーニングアルゴリズムPOETを提案する。 POETは、目的関数を安定して最適化し、一般化を改善する。 我々は、大規模ニューラルネットワークのトレーニングにおいて、POETを柔軟かつスケーラブルにするための効率的な近似を開発する。
  論文  参考訳（メタデータ） (2025-06-09T17:59:34Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。