論文の概要: On Geometric Connections of Embedded and Quotient Geometries in
Riemannian Fixed-rank Matrix Optimization
- arxiv url: http://arxiv.org/abs/2110.12121v2
- Date: Tue, 11 Apr 2023 01:04:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 19:43:58.421797
- Title: On Geometric Connections of Embedded and Quotient Geometries in
Riemannian Fixed-rank Matrix Optimization
- Title（参考訳）: Riemannian Fixed-rank Matrix Optimizationにおける埋め込みおよび定性的ジオメトリーの幾何学的接続について
- Authors: Yuetian Luo and Xudong Li and Anru R. Zhang
- Abstract要約: 本稿では,埋め込みおよび商測地の下でのリーマン最適化問題の幾何学的ランドスケープ接続を確立するための一般的な手順を提案する。
固定ランク行列最適化において,特定のリーマン測度を持つ2つの測度間のアルゴリズム的接続を観測する。
結果は、文学における未回答の疑問に対して、いくつかの新しい理論的洞察を与える。
- 参考スコア（独自算出の注目度）: 5.876141028192136
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper, we propose a general procedure for establishing the geometric
landscape connections of a Riemannian optimization problem under the embedded
and quotient geometries. By applying the general procedure to the fixed-rank
positive semidefinite (PSD) and general matrix optimization, we establish an
exact Riemannian gradient connection under two geometries at every point on the
manifold and sandwich inequalities between the spectra of Riemannian Hessians
at Riemannian first-order stationary points (FOSPs). These results immediately
imply an equivalence on the sets of Riemannian FOSPs, Riemannian second-order
stationary points (SOSPs), and strict saddles of fixed-rank matrix optimization
under the embedded and the quotient geometries. To the best of our knowledge,
this is the first geometric landscape connection between the embedded and the
quotient geometries for fixed-rank matrix optimization and it provides a
concrete example of how these two geometries are connected in Riemannian
optimization. In addition, the effects of the Riemannian metric and quotient
structure on the landscape connection are discussed. We also observe an
algorithmic connection between two geometries with some specific Riemannian
metrics in fixed-rank matrix optimization: there is an equivalence between
gradient flows under two geometries with shared spectra of Riemannian Hessians.
A number of novel ideas and technical ingredients including a unified treatment
for different Riemannian metrics, novel metrics for the Stiefel manifold, and
new horizontal space representations under quotient geometries are developed to
obtain our results. The results in this paper deepen our understanding of
geometric and algorithmic connections of Riemannian optimization under
different Riemannian geometries and provide a few new theoretical insights to
unanswered questions in the literature.
- Abstract（参考訳）: 本稿では,リーマン最適化問題の幾何学的ランドスケープ接続を,埋め込みおよび商幾何学の下で確立するための一般的な手順を提案する。
一般手順を固定ランク正半定値(PSD)および一般行列最適化に適用することにより、多様体上の各点における2つの測度の下で正確なリーマン勾配接続とリーマン一階定常点(FOSP)におけるリーマン・ヘッセンのスペクトル間のサンドイッチ不等式を確立する。
これらの結果は直ちにリーマンフォップの集合上の同値、リーマン二階定常点(sosp)、埋め込み幾何学および商幾何学の下での固定ランク行列最適化の厳密な鞍を意味する。
我々の知る限り、これは固定ランク行列最適化のための埋め込みと商ジオメトリーの間の最初の幾何学的ランドスケープ接続であり、これらの2つのジオメトリーがリーマン最適化でどのように接続されているかの具体的な例を提供する。
また,ランドスケープ接続に対するリーマン計量と商構造の影響についても考察した。
また、固定ランク行列最適化において、いくつかの特定のリーマン測度を持つ2つの測度間のアルゴリズム的接続も観察する: リーマンヘッセンの共有スペクトルを持つ2つの測度の下で勾配流の同値性が存在する。
異なるリーマン計量に対する統一的な処理、スティーフェル多様体に対する新しい計量、商幾何学の下での新しい水平空間表現などを含む、多くの新しいアイデアと技術的な材料が開発され、この結果を得た。
本論文は、異なるリーマン幾何学の下でのリーマン最適化の幾何学的およびアルゴリズム的接続の理解を深め、文献の未解決問題に対するいくつかの新しい理論的洞察を提供する。
関連論文リスト
- RMLR: Extending Multinomial Logistic Regression into General Geometries [64.16104856124029]
我々のフレームワークは、最小限の幾何学的性質しか必要とせず、広い適用性を示す。
SPD MLRの5つのファミリーを5種類のパワー変形測定値に基づいて開発する。
回転行列上では、人気のある双不変計量に基づいてリー MLR を提案する。
論文 参考訳（メタデータ） (2024-09-28T18:38:21Z) - FORML: A Riemannian Hessian-free Method for Meta-learning on Stiefel Manifolds [4.757859522106933]
本稿では、スティーフェル多様体上の微分の1次近似を用いたヘッセンフリーアプローチを提案する。
本手法は計算負荷とメモリフットプリントを大幅に削減する。
論文 参考訳（メタデータ） (2024-02-28T10:57:30Z) - The Fisher-Rao geometry of CES distributions [50.50897590847961]
Fisher-Rao情報幾何学は、ツールを微分幾何学から活用することができる。
楕円分布の枠組みにおけるこれらの幾何学的ツールの実用的利用について述べる。
論文 参考訳（メタデータ） (2023-10-02T09:23:32Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - A Survey of Geometric Optimization for Deep Learning: From Euclidean
Space to Riemannian Manifold [7.737713458418288]
ディープラーニング(DL)は複雑な人工知能(AI)タスクで成功したが、様々な悪名高い問題に悩まされている。
本稿では、DLにおける幾何最適化の適用に関する総合的な調査について述べる。
畳み込みニューラルネットワーク、リカレントニューラルネットワーク、トランスファー学習、最適輸送など、さまざまなAIタスクにおける異なるDLネットワークにおける幾何学的最適化の適用について検討する。
論文 参考訳（メタデータ） (2023-02-16T10:50:15Z) - The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。
ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。
ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
論文 参考訳（メタデータ） (2022-06-14T12:30:11Z) - First-Order Algorithms for Min-Max Optimization in Geodesic Metric
Spaces [93.35384756718868]
min-maxアルゴリズムはユークリッド設定で解析されている。
指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
論文 参考訳（メタデータ） (2022-06-04T18:53:44Z) - A singular Riemannian geometry approach to Deep Neural Networks I.
Theoretical foundations [77.86290991564829]
ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。
我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。
このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
論文 参考訳（メタデータ） (2021-12-17T11:43:30Z) - Nonconvex Factorization and Manifold Formulations are Almost Equivalent in Low-rank Matrix Optimization [8.59387261480044]
我々は、広く研究された多様体の幾何学的地形接続と、低ランク正半定値(PSD)および一般行列最適化における分解公式を考える。
サンドイッチ関係は、ある定式化から別の定式化へのより定量的な幾何学的性質の伝達に利用できることを示す。
論文 参考訳（メタデータ） (2021-08-03T22:14:01Z) - Nested Grassmannians for Dimensionality Reduction with Applications [7.106986689736826]
等質リーマン多様体のネスト列を構成するための新しい枠組みを提案する。
我々は、提案されたフレームワークをグラスマン多様体に適用することに集中し、ネストしたグラスマン多様体(NG)を生み出した。
具体的には、各平面(2D) 形状は複素グラスマン多様体である複素射影空間の点として表すことができる。
提案したNG構造を用いて,教師付き次元減少問題と教師なし次元減少問題に対するアルゴリズムをそれぞれ開発する。
論文 参考訳（メタデータ） (2020-10-27T20:09:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。