論文の概要: Nonconvex Factorization and Manifold Formulations are Almost Equivalent in Low-rank Matrix Optimization
- arxiv url: http://arxiv.org/abs/2108.01772v3
- Date: Mon, 12 Aug 2024 23:04:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 23:45:34.483325
- Title: Nonconvex Factorization and Manifold Formulations are Almost Equivalent in Low-rank Matrix Optimization
- Title（参考訳）: 非凸因子化と多様体の定式化は低ランク行列最適化においてほぼ等価である
- Authors: Yuetian Luo, Xudong Li, Anru R. Zhang,
- Abstract要約: 我々は、広く研究された多様体の幾何学的地形接続と、低ランク正半定値(PSD)および一般行列最適化における分解公式を考える。
サンドイッチ関係は、ある定式化から別の定式化へのより定量的な幾何学的性質の伝達に利用できることを示す。
- 参考スコア（独自算出の注目度）: 8.59387261480044
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper, we consider the geometric landscape connection of the widely studied manifold and factorization formulations in low-rank positive semidefinite (PSD) and general matrix optimization. We establish a sandwich relation on the spectrum of Riemannian and Euclidean Hessians at first-order stationary points (FOSPs). As a result of that, we obtain an equivalence on the set of FOSPs, second-order stationary points (SOSPs) and strict saddles between the manifold and the factorization formulations. In addition, we show the sandwich relation can be used to transfer more quantitative geometric properties from one formulation to another. Similarities and differences in the landscape connection under the PSD case and the general case are discussed. To the best of our knowledge, this is the first geometric landscape connection between the manifold and the factorization formulations for handling rank constraints, and it provides a geometric explanation for the similar empirical performance of factorization and manifold approaches in low-rank matrix optimization observed in the literature. In the general low-rank matrix optimization, the landscape connection of two factorization formulations (unregularized and regularized ones) is also provided. By applying these geometric landscape connections, in particular, the sandwich relation, we are able to solve unanswered questions in literature and establish stronger results in the applications on geometric analysis of phase retrieval, well-conditioned low-rank matrix optimization, and the role of regularization in factorization arising from machine learning and signal processing.
- Abstract（参考訳）: 本稿では、広く研究されている多様体の幾何学的地形接続と、低ランク正半定値(PSD)および一般行列最適化における分解公式について考察する。
リーマンおよびユークリッド・ヘッセンのスペクトルのサンドイッチ関係を1次定常点(FOSP)で確立する。
その結果、 FOSPs, 2次定常点 (SOSPs) の集合と、多様体と分解の定式化の間の厳密なサドルとの等価性が得られる。
さらに,サンドイッチの関係は,ある定式化から別の定式化へ,より定量的な幾何学的性質を伝達するために利用できることを示す。
PSDの場合と一般の場合のランドスケープ接続の類似点と相違点について論じる。
我々の知る限り、これは階数制約を扱うための多様体と階数式の間の最初の幾何学的ランドスケープ接続であり、文献で観察された低階行列最適化における分解の同様の経験的性能と多様体アプローチに関する幾何学的説明を提供する。
一般的な低ランク行列最適化では、2つの分解式(非正規化および正規化)のランドスケープ接続も提供される。
これらの幾何学的ランドスケープ接続、特にサンドイッチ関係を適用して、位相探索の幾何学的解析、良条件の低ランク行列最適化、機械学習と信号処理による分解における正規化の役割において、文学における未解決の問題を解き、より強力な結果を確立することができる。
関連論文リスト
- Regularized Projection Matrix Approximation with Applications to Community Detection [1.3761665705201904]
本稿では,アフィニティ行列からクラスタ情報を復元するための正規化プロジェクション行列近似フレームワークを提案する。
3つの異なるペナルティ関数について検討し, それぞれが有界, 正, スパースシナリオに対応するように調整した。
合成および実世界の両方のデータセットで行った数値実験により、我々の正規化射影行列近似アプローチはクラスタリング性能において最先端の手法を著しく上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2024-05-26T15:18:22Z) - Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。
本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
論文 参考訳（メタデータ） (2024-02-14T16:10:42Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - Geometric Methods for Sampling, Optimisation, Inference and Adaptive
Agents [102.42623636238399]
我々は,サンプリング,最適化,推論,適応的意思決定といった問題に根ざした基本的な幾何学的構造を同定する。
これらの問題を効率的に解くためにこれらの幾何学的構造を利用するアルゴリズムを導出する。
論文 参考訳（メタデータ） (2022-03-20T16:23:17Z) - Relative Pose from SIFT Features [50.81749304115036]
基本行列の未知元と向きとスケールに関する新しい線形制約を導出する。
提案した制約は、合成環境における多くの問題と、80000以上の画像ペア上で公開されている実世界のデータセットでテストされる。
論文 参考訳（メタデータ） (2022-03-15T14:16:39Z) - On Geometric Connections of Embedded and Quotient Geometries in
Riemannian Fixed-rank Matrix Optimization [5.876141028192136]
本稿では,埋め込みおよび商測地の下でのリーマン最適化問題の幾何学的ランドスケープ接続を確立するための一般的な手順を提案する。
固定ランク行列最適化において,特定のリーマン測度を持つ2つの測度間のアルゴリズム的接続を観測する。
結果は、文学における未回答の疑問に対して、いくつかの新しい理論的洞察を与える。
論文 参考訳（メタデータ） (2021-10-23T03:13:56Z) - Optimization and Sampling Under Continuous Symmetry: Examples and Lie
Theory [26.555110725656963]
リーアンの定理、リー群、リー代数およびハリシュ・チャンドラ-イッツィ積分の公式の例を示す。
次に、連続対称性を捉えるために必要不可欠な数学的ツールキットである最適化理論を紹介する。
論文 参考訳（メタデータ） (2021-09-02T16:44:44Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳（メタデータ） (2021-03-05T04:42:32Z) - Symmetric Positive Semi-definite Riemannian Geometry with Application to
Domain Adaptation [7.126737403006778]
対称正半定値行列(SPSD)の幾何学に関する新しい結果を示す。
本稿では,ドメイン適応(DA)のアルゴリズムを提案し,その性能を2つのアプリケーションで示す。
論文 参考訳（メタデータ） (2020-07-28T14:39:36Z) - Nonconvex Matrix Completion with Linearly Parameterized Factors [10.163102766021373]
パラメトリック因子化は、部分空間や完了シミュレーションを含む重要な例を示す。
また, 統一的非制約行列最適化法の有効性について述べる。
論文 参考訳（メタデータ） (2020-03-29T22:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。