論文の概要: Symplectic Stiefel manifold: tractable metrics, second-order geometry and Newton's methods
- arxiv url: http://arxiv.org/abs/2406.14299v1
- Date: Thu, 20 Jun 2024 13:26:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 13:42:16.050680
- Title: Symplectic Stiefel manifold: tractable metrics, second-order geometry and Newton's methods
- Title（参考訳）: シンプレクティックスティーフェル多様体:抽出可能な計量、二階幾何学およびニュートンの方法
- Authors: Bin Gao, Nguyen Thanh Son, Tatjana Stykel,
- Abstract要約: 我々は、シンプレクティック・スティーフェル多様体上の明示的な二階幾何学とニュートンの方法を開発する。
次にニュートン方程式をニュートン法の中心的なステップとして解く。
提案手法を検証するために, 種々の数値実験を行った。
- 参考スコア（独自算出の注目度）: 1.190653833745802
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optimization under the symplecticity constraint is an approach for solving various problems in quantum physics and scientific computing. Building on the results that this optimization problem can be transformed into an unconstrained problem on the symplectic Stiefel manifold, we construct geometric ingredients for Riemannian optimization with a new family of Riemannian metrics called tractable metrics and develop Riemannian Newton schemes. The newly obtained ingredients do not only generalize several existing results but also provide us with freedom to choose a suitable metric for each problem. To the best of our knowledge, this is the first try to develop the explicit second-order geometry and Newton's methods on the symplectic Stiefel manifold. For the Riemannian Newton method, we first consider novel operator-valued formulas for computing the Riemannian Hessian of a~cost function, which further allows the manifold to be endowed with a weighted Euclidean metric that can provide a preconditioning effect. We then solve the resulting Newton equation, as the central step of Newton's methods, directly via transforming it into a~saddle point problem followed by vectorization, or iteratively via applying any matrix-free iterative method either to the operator Newton equation or its saddle point formulation. Finally, we propose a hybrid Riemannian Newton optimization algorithm that enjoys both global convergence and quadratic/superlinear local convergence at the final stage. Various numerical experiments are presented to validate the proposed methods.
- Abstract（参考訳）: シンプレクティシティ制約の下での最適化は、量子物理学や科学計算における様々な問題を解決するためのアプローチである。
この最適化問題をシンプレクティックなシュティーフェル多様体上の制約のない問題に変換できるという結果に基づいて、トラクタブル計量と呼ばれるリーマン計量の新しい族を用いてリーマン最適化のための幾何学的材料を構築し、リーマンニュートンスキームを開発する。
新たに得られた材料は,既存の結果を一般化するだけでなく,各問題に適した指標を選択する自由を与えてくれる。
我々の知る限りでは、これはシンプレクティック・スティーフェル多様体上の明示的な二階幾何学とニュートンの方法を開発する最初の試みである。
リーマン・ニュートン法では、まず a~コスト関数のリーマン・ヘシアンを計算するための新しい作用素値公式を考え、さらに、プレコンディショニング効果を与えるユークリッド計量を加重化することができる。
次にニュートン方程式をニュートン法の中心的なステップとして解き、それをa~saddle点問題に変換してベクトル化し、あるいは任意の行列自由反復法をニュートン方程式あるいはそのサドル点定式化に適用することで反復的に解く。
最後に,大域収束と2次・超線形局所収束を両立させるハイブリッドリーマンニュートン最適化アルゴリズムを提案する。
提案手法を検証するために, 種々の数値実験を行った。
関連論文リスト
- Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳（メタデータ） (2023-11-04T11:12:24Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods [37.1630298053787]
我々はヘルパーフレームワークと呼ばれる新しいフレームワークを提案する。
グローバルな複雑性保証を備えた分散アルゴリズムと二階アルゴリズムの統一的なビューを提供する。
論文 参考訳（メタデータ） (2023-02-23T12:18:28Z) - Faster Riemannian Newton-type Optimization by Subsampling and Cubic
Regularization [3.867143522757309]
この研究は、制約集合が多様体構造を意味するような制約付き大規模非制約最適化に関するものである。
本稿では,収束性の向上と計算コストの削減を目的とした2階サドル最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-22T00:37:44Z) - Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。
目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。
また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-30T18:54:54Z) - The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。
ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。
ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
論文 参考訳（メタデータ） (2022-06-14T12:30:11Z) - Augmented Newton Method for Optimization: Global Linear Rate and
Momentum Interpretation [0.0]
制約のない問題を解くために,ニュートン法の2つの変種を提案する。
我々は、Penalty Newton法とAugmented Newton法という、ニュートン法の新しい変種を生成する。
論文 参考訳（メタデータ） (2022-05-23T04:34:10Z) - On Riemannian Approach for Constrained Optimization Model in Extreme
Classification Problems [2.7436792484073638]
制約付き最適化問題は行列多様体上の最適化問題として定式化される。
提案手法は,複数の実世界の大規模マルチラベルデータセットで検証される。
論文 参考訳（メタデータ） (2021-09-30T11:28:35Z) - Newton-LESS: Sparsification without Trade-offs for the Sketched Newton
Update [88.73437209862891]
2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。
本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。
ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
論文 参考訳（メタデータ） (2021-07-15T17:33:05Z) - Automatic differentiation for Riemannian optimization on low-rank matrix
and tensor-train manifolds [71.94111815357064]
科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。
低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
論文 参考訳（メタデータ） (2021-03-27T19:56:00Z) - Bayesian Quadrature on Riemannian Data Manifolds [79.71142807798284]
データに固有の非線形幾何学構造をモデル化する原則的な方法が提供される。
しかし、これらの演算は通常計算的に要求される。
特に、正規法則上の積分を数値計算するためにベイズ二次(bq)に焦点を当てる。
先行知識と活発な探索手法を両立させることで,BQは必要な評価回数を大幅に削減できることを示す。
論文 参考訳（メタデータ） (2021-02-12T17:38:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。