論文の概要: Manifold constrained steepest descent

• arxiv url: http://arxiv.org/abs/2601.21487v1
• Date: Thu, 29 Jan 2026 10:08:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.724115
• Title: Manifold constrained steepest descent
• Title（参考訳）: Manifold (複数形 Manifolds)
• Authors: Kaiwei Yang, Lexiao Lai,
• Abstract要約: 多様体上の最適化のための単一ループフレームワークであるemphManifold Constrained Steepest Descent (MCSD)を提案する。 また、Stiefel多様体上のMCSDのスペクトル特殊化であるemphSPELを導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Norm-constrained linear minimization oracle (LMO)-based optimizers such as spectral gradient descent and Muon are attractive in large-scale learning, but extending them to manifold-constrained problems is nontrivial and often leads to nested-loop schemes that solve tangent-space subproblems iteratively. We propose \emph{Manifold Constrained Steepest Descent} (MCSD), a single-loop framework for optimization over manifolds that selects a norm-induced steepest-descent direction via an LMO applied to the Riemannian gradient, and then returns to the manifold via projection. Under standard smoothness assumptions, we establish convergence guarantees for MCSD and a stochastic momentum variant. We further introduce \emph{SPEL}, the spectral-norm specialization of MCSD on the Stiefel manifold, which admits scalable implementations via fast matrix sign computations. Experiments on PCA, orthogonality-constrained CNNs, and manifold-constrained LLM adapter tuning demonstrate improved stability and competitive performance relative to standard Riemannian baselines and existing manifold-aware LMO methods.
• Abstract（参考訳）: スペクトル勾配降下やミューオンのようなノルム制約線形最小化オラクル(LMO)に基づく最適化器は大規模学習では魅力的であるが、それらを多様体制約問題に拡張するのは簡単ではなく、しばしば接空間のサブプロブレムを反復的に解くネストループスキームに繋がる。 我々は、リーマン勾配に LMO を適用することでノルム誘起の急勾配方向を選択する多様体上の最適化のための単一ループフレームワークである 'emph{Manifold Constrained Steepest Descent} (MCSD) を提案する。 標準的な滑らか性仮定の下では、MCSDと確率運動量不変量に対する収束保証を確立する。 さらに、高速行列符号計算によるスケーラブルな実装を許容するステフェル多様体上でのMCSDのスペクトルノルム特殊化である \emph{SPEL} を導入する。 PCA、直交制約付きCNN、および多様体制約付きLLMアダプタチューニングの実験は、標準リーマン基底線および既存の多様体対応LMO法と比較して、安定性と競争性の向上を示す。

関連論文リスト

• Tuning-Free Structured Sparse Recovery of Multiple Measurement Vectors using Implicit Regularization [13.378211527081582]
  複数の測定ベクトルにおけるスパース信号を復元するためのチューニング不要なフレームワークを提案する。 最適化力学は「モメンタムのような」効果を示し、真のサポートにおける行のノルムは他のものよりも著しく速く成長することを示した。
  論文  参考訳（メタデータ） (2025-12-03T02:53:11Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Mirror Descent Under Generalized Smoothness [23.5387392871236]
  一般ノルムと双対という観点からヘッセンのノルムを測定する新しい$ell*$-smoothnessの概念を導入する。 我々は、古典的な滑らかさの下でのレートに一致するミラー・ディフレッシュ型アルゴリズムの収束性を確立する。
  論文  参考訳（メタデータ） (2025-02-02T11:23:10Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Simplifying Momentum-based Positive-definite Submanifold Optimization with Applications to Deep Learning [24.97120654216651]
  部分多様体上の運動量を持つ難しい微分方程式の解法を示す。 我々はリーマン正規座標の一般化版を提案する。 我々は,行列乗算のみを用いることで,構造化共分散の既存手法を単純化し,低精度のディープラーニングのための行列非逆2textnd$ordersを開発する。
  論文  参考訳（メタデータ） (2023-02-20T03:31:11Z)
• Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
  視覚SLAMシステムのための新しい最適化バックボーンを提案する。 従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。 我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
  論文  参考訳（メタデータ） (2020-11-02T18:02:26Z)
• Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
  本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。 MVSCに適合する新しい構造テンソル低ランクノルムを設計する。 提案手法は最先端の手法よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T11:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。