論文の概要: A second-order method landing on the Stiefel manifold via Newton$\unicode{x2013}$Schulz iteration

• arxiv url: http://arxiv.org/abs/2605.02838v2
• Date: Tue, 05 May 2026 04:34:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 14:45:21.348661
• Title: A second-order method landing on the Stiefel manifold via Newton$\unicode{x2013}$Schulz iteration
• Title（参考訳）: Newton$\unicode{x2013}$Schulz 反復によるスティーフェル多様体への二階着地法
• Authors: Xinhui Xiong, Bin Gao, P. -A. Absil,
• Abstract要約: 本研究では,Stiefel多様体のトラクションフリーアプローチに対する二階着地法を提案する。 提案手法は既存の方法よりも優れている。
• 参考スコア（独自算出の注目度）: 1.5667995510670565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retraction-free approaches offer attractive low-cost alternatives to Riemannian methods on the Stiefel manifold, but they are often first-order, which may limit the efficiency under high-accuracy requirements. To this end, we propose a second-order method landing on the Stiefel manifold without invoking retractions, which is proved to enjoy local quadratic (or superlinear for its inexact variant) convergence. The update consists of the sum of (i) a component tangent to the level set of the constraint-defining function that aims to reduce the objective and (ii) a component normal to the same level set that reduces the infeasibility. Specifically, we construct the normal component via Newton$\unicode{x2013}$Schulz, a fixed-point iteration for orthogonalization. Moreover, we establish a geometric connection between the Newton$\unicode{x2013}$Schulz iteration and Stiefel manifolds, in which Newton$\unicode{x2013}$Schulz moves along the normal space. For the tangent component, we formulate a modified Newton equation that incorporates Newton$\unicode{x2013}$Schulz. Numerical experiments on the orthogonal Procrustes problem, principal component analysis, and real-data independent component analysis illustrate that the proposed method performs better than the existing methods.
• Abstract（参考訳）: リトラクションフリーなアプローチは、スティーフェル多様体上のリーマン的手法の魅力的な低コストな代替手段を提供するが、それらはしばしば一階述語であり、高い精度の要求の下で効率を制限することができる。 この目的を達成するために、Stiefel多様体上への2階の着地法を提案するが、これは局所二次(あるいはその不正確な不変量に対する超線型)収束を楽しむことが証明される。 更新は総和から成っている 一 目的及び目的を減らそうとする制約定義関数のレベルセットに接する成分 (ii) 実現可能性を低減する同じレベルセットに正規なコンポーネント。 具体的には、直交化の固定点反復であるNewton$\unicode{x2013}$Schulzを通して正規成分を構築する。 さらに、Newton$\unicode{x2013}$Schulz 反復とStiefel多様体の間の幾何学的接続を確立し、Newton$\unicode{x2013}$Schulz は正規空間に沿って移動する。 接成分に対しては、Newton$\unicode{x2013}$Schulz を含む修正ニュートン方程式を定式化する。 直交確率問題,主成分分析,および実データ独立成分分析に関する数値実験により,提案手法が既存手法より優れていることを示す。

関連論文リスト

• A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees [34.85903827323451]
  我々は、正規化ニュートン方程式を解くために、現在の勾配と以前の勾配から構築された新しい正規化器のクラスを提案する。 提案アルゴリズムは適応的であり、ヘッセン・リプシッツ定数の事前知識を必要としない。
  論文  参考訳（メタデータ） (2025-02-07T10:10:10Z)
• Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate [83.3933097134767]
  次元に依存しない大域収束率を$Oleft(frac1mk+frac1k2right)$とする,新しい部分空間正規化ニュートン法を導入する。 提案手法は,特に高次元問題に対して,既存のランダム部分空間法よりも高速に収束する。
  論文  参考訳（メタデータ） (2024-01-05T20:24:18Z)
• Higher-Order Newton Methods with Polynomial Work per Iteration [0.7568448369029973]
  任意の$d$の微分を包含するオラクル法を一般化するが、その反復次元における盆地への依存は維持する。 数値的な例では、$d$ の局所的なアトラクションは、追加の仮定がなされると局所的に大きくなる。
  論文  参考訳（メタデータ） (2023-11-10T20:02:58Z)
• First and zeroth-order implementations of the regularized Newton method with lazy approximated Hessians [4.62316736194615]
  我々は一般の非自由$ノルムフリー問題のリップオーダー(ヘシアン-O)とゼロオーダー(微分自由)の実装を開発する。 また、アルゴリズムに遅延バウンダリ更新を加えて、これまで計算されたヘッセン近似行列を数回繰り返し再利用する。
  論文  参考訳（メタデータ） (2023-09-05T17:40:54Z)
• A Newton-CG based barrier-augmented Lagrangian method for general nonconvex conic optimization [53.044526424637866]
  本稿では、2つの異なる対象の一般円錐最適化を最小化する近似二階定常点(SOSP)について検討する。 特に、近似SOSPを見つけるためのNewton-CGベースの拡張共役法を提案する。
  論文  参考訳（メタデータ） (2023-01-10T20:43:29Z)
• Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization [52.25843977506935]
  有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。 そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
  論文  参考訳（メタデータ） (2022-11-03T14:41:46Z)
• Perseus: A Simple and Optimal High-Order Method for Variational Inequalities [81.32967242727152]
  VI は、$langle F(x), x - xstarrangle geq 0$ for all $x in MathcalX$ であるように、mathcalX$ で $xstar を見つける。 そこで本稿では,テキストitが行探索を必要とせず,$O(epsilon-2/(p+1))$で弱解に確実に収束する$pth$-order法を提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:29:14Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。