Fugu-MT 論文翻訳(概要): Muon on the Stiefel Manifold Admits an Exact Closed-Form Update

論文の概要: Muon on the Stiefel Manifold Admits an Exact Closed-Form Update

arxiv url: http://arxiv.org/abs/2608.06218v1
Date: Thu, 06 Aug 2026 16:09:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-07 15:25:20.950013
Title: Muon on the Stiefel Manifold Admits an Exact Closed-Form Update
Title（参考訳）: Stiefel Manifoldのムーンがクローズドなアップデートを推奨
Abstract要約: 本稿では,最近提案された行列認識最適化手法であるMuonについて,Stiefel多様体の文脈で検討する。我々は、効率の良い実装によるミューティアウェア最適化のための実用的なアルゴリズムであるSkewonを開発した。
参考スコア（独自算出の注目度）: 1.8277100943537068
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study Muon, a recently proposed matrix-aware optimization method, in the context of the Stiefel manifold. This manifold consists of matrices with orthonormal columns and is ubiquitous in machine learning and scientific computing. Existing extensions of Muon to this manifold rely on heuristic, approximate, or iterative updates with varying computational efficiency. We show that the corresponding Stiefel Muon update admits an exact closed-form solution and use this result to develop Skewon, a practical algorithm for orthogonality-constrained optimization with an efficient implementation. We further establish first-order convergence guarantees for Skewon in the smooth non-convex setting.
Abstract（参考訳）: 本稿では,最近提案された行列認識最適化手法であるMuonについて,Stiefel多様体の文脈で検討する。この多様体は正則列を持つ行列で構成され、機械学習や科学計算においてユビキタスである。この多様体への既存のムーンの拡張は、計算効率の異なるヒューリスティック、近似、反復的な更新に依存している。対応するStiefel Muon 更新は、正確な閉形式解を認め、この結果を用いて、直交制約付き最適化の実用的なアルゴリズムである Skewon を開発した。さらに、スムーズな非凸設定において、スキュートンに対する一階収束保証を確立する。

関連論文リスト

Federated Compositional Muon Optimizer for Matrix-Wise Models [12.397558747278305]
本研究では,分散行列式構成問題の解法として,効率的な構成ムオン(FedCoMuon)を提案する。提案手法は,既存の構成ベースラインと競合し,複数の設定で最高の精度が得られることを示す。
論文参考訳（メタデータ） (2026-08-13T01:46:26Z)
DeMuon: A Decentralized Muon for Matrix Optimization over Graphs [20.832302616074966]
DeMuonは、与えられた通信トポロジに対する分散行列最適化の方法である。我々は,様々な接続度を持つグラフを事前学習する分散トランスについて,予備的な数値実験を行った。
論文参考訳（メタデータ） (2025-10-01T19:06:11Z)
AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates [5.049533819651459]
我々は、標準ベースの更新とaGradタイプのステップを組み合わせた新しい適応型更新AdaGOを提案する。 AdaGOは更新の直交性を保持しており、これはスペクトル降下と解釈できる。
論文参考訳（メタデータ） (2025-09-03T03:42:22Z)
Improving Adaptive Moment Optimization via Preconditioner Diagonalization [11.01832755213396]
提案手法は,現代適応法の収束速度を大幅に向上させることができることを示す。 LLaMAのような大きな言語モデルでは、ベースラインであるAdamと比較して2倍のスピードアップが達成できます。
論文参考訳（メタデータ） (2025-02-11T11:48:04Z)
GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
論文参考訳（メタデータ） (2023-06-26T09:42:59Z)
Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文参考訳（メタデータ） (2022-10-26T10:12:31Z)
Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
閉形式解によって最適化できる新しいサロゲートを開発する。そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
論文参考訳（メタデータ） (2022-03-04T08:50:50Z)
Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces [96.53463532832939]
我々はガウス過程の適用性を高める技術を開発した。この観点から構築した効率的な近似を幅広く導入する。非ユークリッド空間上のガウス過程モデルの集合を開発する。
論文参考訳（メタデータ） (2022-02-22T01:42:57Z)
Linear Time Kernel Matrix Approximation via Hyperspherical Harmonics [3.24890820102255]
機械学習のカーネル手法で発生する行列の低ランク近似を構築するための新しい手法を提案する。提案手法では,基礎となるカーネル関数の解析的拡張をデータ依存圧縮ステップと組み合わせて,近似をさらに最適化する。実験の結果,提案手法は,与えられたランクの精度と,与えられた精度の計算時間の両方に関して,カーネル,次元,データセットにまたがってよく用いられるNystrom法と比較した。
論文参考訳（メタデータ） (2022-02-08T05:19:39Z)
Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-09-30T19:17:35Z)
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文参考訳（メタデータ） (2021-06-10T18:17:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。