論文の概要: Muon Dynamics as a Spectral Wasserstein Flow

• arxiv url: http://arxiv.org/abs/2604.04891v1
• Date: Mon, 06 Apr 2026 17:41:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.314735
• Title: Muon Dynamics as a Spectral Wasserstein Flow
• Title（参考訳）: スペクトルワッサースタイン流としてのミューオンダイナミクス
• Authors: Gabriel Peyré,
• Abstract要約: 正半定値行列に関するワッサーシュタインノルムの族を導入する。 静的ベナモ・ブレニエ式と動的ベナモ・ブレニエ式との同値性を証明する。 流れモデルに付随する厳密な勾配を同定する。
• 参考スコア（独自算出の注目度）: 21.689846521201588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient normalization is central in deep-learning optimization because it stabilizes training and reduces sensitivity to scale. For deep architectures, parameters are naturally grouped into matrices or blocks, so spectral normalizations are often more faithful than coordinatewise Euclidean ones; Muon is the main motivating example of this paper. More broadly, we study a family of spectral normalization rules, ranging from ordinary gradient descent to Muon and intermediate Schatten-type schemes, in a mean-field regime where parameters are modeled by probability measures. We introduce a family of Spectral Wasserstein distances indexed by a norm gamma on positive semidefinite matrices. The trace norm recovers the classical quadratic Wasserstein distance, the operator norm recovers the Muon geometry, and intermediate Schatten norms interpolate between them. We develop the static Kantorovich formulation, prove comparison bounds with W2, derive a max-min representation, and obtain a conditional Brenier theorem. For Gaussian marginals, the problem reduces to a constrained optimization on covariance matrices, extending the Bures formula and yielding a closed form for commuting covariances in the Schatten family. For monotone norms, including all Schatten cases, we prove the equivalence between the static and dynamic Benamou-Brenier formulations, deduce that the resulting transport cost is a genuine metric equivalent to W2 in fixed dimension, and show that the induced Gaussian covariance cost is also a metric. We then interpret the associated normalized continuity equation as a Spectral Wasserstein gradient flow, identify its exact finite-particle counterpart as a normalized matrix flow, obtain first geodesic-convexity results, and show how positively homogeneous mean-field models induce a spectral unbalanced transport on the sphere.
• Abstract（参考訳）: 勾配正規化は、トレーニングを安定化し、スケールの感度を低下させるため、ディープラーニング最適化の中心である。 深いアーキテクチャの場合、パラメータは自然に行列やブロックに分類されるので、スペクトル正規化は座標的にユークリッド的よりも忠実であることが多い。 より広範に、パラメータが確率測度によってモデル化される平均場状態において、通常の勾配降下からムオンおよび中間シャッテン型スキームまで幅広いスペクトル正規化規則の族を研究する。 正の半定値行列上のノルムガンマでインデックスされたスペクトルワッサーシュタイン距離の族を導入する。 トレースノルムは古典的二次ワッサーシュタイン距離を回復し、作用素ノルムはミューオン幾何を回復し、中間シャッテンノルムはそれらの間を補間する。 静的なカントロビッチの定式化を開発し、W2との比較境界を証明し、最大ミン表現を導き、条件付きブレニエ定理を得る。 ガウスの剰余類にとって、問題は共分散行列の制約付き最適化に還元され、ビューズの公式を拡張し、シャッテン族において共分散を交換するための閉形式が得られる。 すべてのシャッテンの場合を含む単調ノルムに対して、静的ベナモウ・ブレーニエの定式化と動的ベナモウ・ブレーニエの同値性を証明し、結果として生じる輸送コストが固定次元の W2 と同値の真の計量であることを推定し、誘導されたガウス共分散コストも計量であることを示す。 次に、関連する正規化連続性方程式をスペクトルワッサースタイン勾配流として解釈し、その正確な有限粒子を正規化行列流として同定し、第1測地線凸性結果を得るとともに、正に均質な平均場モデルが球面上のスペクトル不均衡輸送を誘導することを示す。

関連論文リスト

• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• Solving a Nonlinear Eigenvalue Equation in Quantum Information Theory: A Hybrid Approach to Entanglement Quantification [0.0]
  エンタングルメントの幾何学的測度を評価するためのハイブリッド解析および数値的枠組みを提案する。 結合した非線形固有構造を等価乗算器の定常性を証明することによって明示する。 得られたハイブリッドソルバは、標準3キュービットベンチマークの正確な最適化を再現する。
  論文  参考訳（メタデータ） (2025-11-14T13:36:47Z)
• Spectrum-Aware Debiasing: A Modern Inference Framework with Applications to Principal Components Regression [1.342834401139078]
  本稿では,高次元回帰のための新しい手法であるSpectrumAware Debiasingを紹介する。 我々のアプローチは、構造的、重く、低ランクな構造に関する問題に適用できる。 シミュレーションおよび実データ実験により本手法を実証する。
  論文  参考訳（メタデータ） (2023-09-14T15:58:30Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Doubly-Stochastic Normalization of the Gaussian Kernel is Robust to Heteroskedastic Noise [3.5429774642987915]
  ガウス核の主対角がゼロの二重確率正規化はヘテロスケダティックノイズに対して頑健であることを示す。 本報告では,本態性ヘテロスケダスティック性を有する単一細胞RNA配列のシミュレートおよび実験例を示す。
  論文  参考訳（メタデータ） (2020-05-31T01:31:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。