論文の概要: Nonconvex Factorization and Manifold Formulations are Almost Equivalent
in Low-rank Matrix Optimization
- arxiv url: http://arxiv.org/abs/2108.01772v1
- Date: Tue, 3 Aug 2021 22:14:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-05 23:54:07.018988
- Title: Nonconvex Factorization and Manifold Formulations are Almost Equivalent
in Low-rank Matrix Optimization
- Title(参考訳): 非凸分解と多様体定式化は低ランク行列最適化においてほぼ同値である
- Authors: Yuetian Luo and Xudong Li and Anru R. Zhang
- Abstract要約: 我々は、広く研究された多様体の幾何学的地形接続と、低ランク正半定値(PSD)および一般行列最適化における分解公式を考える。
多様体と分解式の間の一階定常点(FOSP)と二階定常点(SOSP)の集合に同値性を確立する。
PSDの場合と一般の場合のランドスケープ接続の類似点と相違点について論じる。
- 参考スコア(独自算出の注目度): 6.462179538647346
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper, we consider the geometric landscape connection of the widely
studied manifold and factorization formulations in low-rank positive
semidefinite (PSD) and general matrix optimization. We establish an equivalence
on the set of first-order stationary points (FOSPs) and second-order stationary
points (SOSPs) between the manifold and the factorization formulations. We
further give a sandwich inequality on the spectrum of Riemannian and Euclidean
Hessians at FOSPs, which can be used to transfer more geometric properties from
one formulation to another. Similarities and differences on the landscape
connection under the PSD case and the general case are discussed. To the best
of our knowledge, this is the first geometric landscape connection between the
manifold and the factorization formulations for handling rank constraints. In
the general low-rank matrix optimization, the landscape connection of two
factorization formulations (unregularized and regularized ones) is also
provided. By applying these geometric landscape connections, we are able to
solve unanswered questions in literature and establish stronger results in the
applications on geometric analysis of phase retrieval, well-conditioned
low-rank matrix optimization, and the role of regularization in factorization
arising from machine learning and signal processing.
- Abstract(参考訳): 本稿では, 広範に研究されている多様体の幾何学的ランドスケープ結合と, 低ランク正半定義(psd)および一般行列最適化における因子化定式化について考察する。
多様体と分解式の間の一階定常点(FOSP)と二階定常点(SOSP)の集合に同値性を確立する。
さらに FOSP においてリーマンおよびユークリッド・ヘッセンのスペクトルにサンドイッチの不等式を与え、ある定式化から別の定式化へより幾何学的性質を移すのに使うことができる。
PSDの場合と一般の場合のランドスケープ接続の類似点と相違点について論じる。
我々の知る限りでは、これは階数制約を扱うための多様体と分解公式の間の最初の幾何学的ランドスケープ接続である。
一般的な低ランク行列最適化では、2つの分解式(非正規化および正規化)のランドスケープ接続も提供される。
これらの幾何学的ランドスケープ接続を適用することで、文学における未解決の課題を解き、位相検索の幾何学的解析、よく条件づけされた低ランク行列最適化、機械学習と信号処理から生じる因子化における正規化の役割において、より強固な結果が得られる。
関連論文リスト
- FORML: A Riemannian Hessian-free Method for Meta-learning with
Orthogonality Constraint [5.197619725604242]
本稿では、スティーフェル多様体上の微分の1次近似を用いたヘッセンフリーアプローチを提案する。
本手法は計算負荷とメモリフットプリントを大幅に削減する。
論文 参考訳(メタデータ) (2024-02-28T10:57:30Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳(メタデータ) (2023-02-24T18:41:48Z) - Geometric Methods for Sampling, Optimisation, Inference and Adaptive
Agents [102.42623636238399]
我々は,サンプリング,最適化,推論,適応的意思決定といった問題に根ざした基本的な幾何学的構造を同定する。
これらの問題を効率的に解くためにこれらの幾何学的構造を利用するアルゴリズムを導出する。
論文 参考訳(メタデータ) (2022-03-20T16:23:17Z) - Relative Pose from SIFT Features [50.81749304115036]
基本行列の未知元と向きとスケールに関する新しい線形制約を導出する。
提案した制約は、合成環境における多くの問題と、80000以上の画像ペア上で公開されている実世界のデータセットでテストされる。
論文 参考訳(メタデータ) (2022-03-15T14:16:39Z) - On Geometric Connections of Embedded and Quotient Geometries in
Riemannian Fixed-rank Matrix Optimization [5.876141028192136]
本稿では,埋め込みおよび商測地の下でのリーマン最適化問題の幾何学的ランドスケープ接続を確立するための一般的な手順を提案する。
固定ランク行列最適化において,特定のリーマン測度を持つ2つの測度間のアルゴリズム的接続を観測する。
結果は、文学における未回答の疑問に対して、いくつかの新しい理論的洞察を与える。
論文 参考訳(メタデータ) (2021-10-23T03:13:56Z) - Optimization and Sampling Under Continuous Symmetry: Examples and Lie
Theory [26.555110725656963]
リーアンの定理、リー群、リー代数およびハリシュ・チャンドラ-イッツィ積分の公式の例を示す。
次に、連続対称性を捉えるために必要不可欠な数学的ツールキットである最適化理論を紹介する。
論文 参考訳(メタデータ) (2021-09-02T16:44:44Z) - q-Paths: Generalizing the Geometric Annealing Path using Power Means [51.73925445218366]
我々は、幾何学と算術の混合を特別なケースとして含むパスのファミリーである$q$-pathsを紹介した。
幾何経路から離れた小さな偏差がベイズ推定に経験的利得をもたらすことを示す。
論文 参考訳(メタデータ) (2021-07-01T21:09:06Z) - Improving Metric Dimensionality Reduction with Distributed Topology [68.8204255655161]
DIPOLEは、局所的、計量的項と大域的、位相的項の両方で損失関数を最小化し、初期埋め込みを補正する次元推論後処理ステップである。
DIPOLEは、UMAP、t-SNE、Isomapといった一般的な手法よりも多くの一般的なデータセットで優れています。
論文 参考訳(メタデータ) (2021-06-14T17:19:44Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳(メタデータ) (2021-03-05T04:42:32Z) - Curvature-Dependant Global Convergence Rates for Optimization on
Manifolds of Bounded Geometry [6.85316573653194]
1-有界幾何多様体上で定義される弱凸函数に対する曲率依存性収束率を与える。
最適化文献でよく用いられる多様体に対して、これらの境界を明示的に計算する。
指数写像の微分のノルムに完全一般境界の自己完備証明を与える。
論文 参考訳(メタデータ) (2020-08-06T08:30:35Z) - Symmetric Positive Semi-definite Riemannian Geometry with Application to
Domain Adaptation [7.126737403006778]
対称正半定値行列(SPSD)の幾何学に関する新しい結果を示す。
本稿では,ドメイン適応(DA)のアルゴリズムを提案し,その性能を2つのアプリケーションで示す。
論文 参考訳(メタデータ) (2020-07-28T14:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。