論文の概要: Nonconvex Factorization and Manifold Formulations are Almost Equivalent
in Low-rank Matrix Optimization
- arxiv url: http://arxiv.org/abs/2108.01772v1
- Date: Tue, 3 Aug 2021 22:14:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-05 23:54:07.018988
- Title: Nonconvex Factorization and Manifold Formulations are Almost Equivalent
in Low-rank Matrix Optimization
- Title（参考訳）: 非凸分解と多様体定式化は低ランク行列最適化においてほぼ同値である
- Authors: Yuetian Luo and Xudong Li and Anru R. Zhang
- Abstract要約: 我々は、広く研究された多様体の幾何学的地形接続と、低ランク正半定値(PSD)および一般行列最適化における分解公式を考える。
多様体と分解式の間の一階定常点(FOSP)と二階定常点(SOSP)の集合に同値性を確立する。
PSDの場合と一般の場合のランドスケープ接続の類似点と相違点について論じる。
- 参考スコア（独自算出の注目度）: 6.462179538647346
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper, we consider the geometric landscape connection of the widely
studied manifold and factorization formulations in low-rank positive
semidefinite (PSD) and general matrix optimization. We establish an equivalence
on the set of first-order stationary points (FOSPs) and second-order stationary
points (SOSPs) between the manifold and the factorization formulations. We
further give a sandwich inequality on the spectrum of Riemannian and Euclidean
Hessians at FOSPs, which can be used to transfer more geometric properties from
one formulation to another. Similarities and differences on the landscape
connection under the PSD case and the general case are discussed. To the best
of our knowledge, this is the first geometric landscape connection between the
manifold and the factorization formulations for handling rank constraints. In
the general low-rank matrix optimization, the landscape connection of two
factorization formulations (unregularized and regularized ones) is also
provided. By applying these geometric landscape connections, we are able to
solve unanswered questions in literature and establish stronger results in the
applications on geometric analysis of phase retrieval, well-conditioned
low-rank matrix optimization, and the role of regularization in factorization
arising from machine learning and signal processing.
- Abstract（参考訳）: 本稿では, 広範に研究されている多様体の幾何学的ランドスケープ結合と, 低ランク正半定義(psd)および一般行列最適化における因子化定式化について考察する。
多様体と分解式の間の一階定常点(FOSP)と二階定常点(SOSP)の集合に同値性を確立する。
さらに FOSP においてリーマンおよびユークリッド・ヘッセンのスペクトルにサンドイッチの不等式を与え、ある定式化から別の定式化へより幾何学的性質を移すのに使うことができる。
PSDの場合と一般の場合のランドスケープ接続の類似点と相違点について論じる。
我々の知る限りでは、これは階数制約を扱うための多様体と分解公式の間の最初の幾何学的ランドスケープ接続である。
一般的な低ランク行列最適化では、2つの分解式(非正規化および正規化)のランドスケープ接続も提供される。
これらの幾何学的ランドスケープ接続を適用することで、文学における未解決の課題を解き、位相検索の幾何学的解析、よく条件づけされた低ランク行列最適化、機械学習と信号処理から生じる因子化における正規化の役割において、より強固な結果が得られる。
関連論文リスト
- Regularized Projection Matrix Approximation with Applications to Community Detection [1.3761665705201904]
本稿では,アフィニティ行列からクラスタ情報を復元するための正規化プロジェクション行列近似フレームワークを提案する。
3つの異なるペナルティ関数について検討し, それぞれが有界, 正, スパースシナリオに対応するように調整した。
合成および実世界の両方のデータセットで行った数値実験により、我々の正規化射影行列近似アプローチはクラスタリング性能において最先端の手法を著しく上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2024-05-26T15:18:22Z) - Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。
本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
論文 参考訳（メタデータ） (2024-02-14T16:10:42Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - Geometric Methods for Sampling, Optimisation, Inference and Adaptive
Agents [102.42623636238399]
我々は,サンプリング,最適化,推論,適応的意思決定といった問題に根ざした基本的な幾何学的構造を同定する。
これらの問題を効率的に解くためにこれらの幾何学的構造を利用するアルゴリズムを導出する。
論文 参考訳（メタデータ） (2022-03-20T16:23:17Z) - Relative Pose from SIFT Features [50.81749304115036]
基本行列の未知元と向きとスケールに関する新しい線形制約を導出する。
提案した制約は、合成環境における多くの問題と、80000以上の画像ペア上で公開されている実世界のデータセットでテストされる。
論文 参考訳（メタデータ） (2022-03-15T14:16:39Z) - On Geometric Connections of Embedded and Quotient Geometries in
Riemannian Fixed-rank Matrix Optimization [5.876141028192136]
本稿では,埋め込みおよび商測地の下でのリーマン最適化問題の幾何学的ランドスケープ接続を確立するための一般的な手順を提案する。
固定ランク行列最適化において,特定のリーマン測度を持つ2つの測度間のアルゴリズム的接続を観測する。
結果は、文学における未回答の疑問に対して、いくつかの新しい理論的洞察を与える。
論文 参考訳（メタデータ） (2021-10-23T03:13:56Z) - Optimization and Sampling Under Continuous Symmetry: Examples and Lie
Theory [26.555110725656963]
リーアンの定理、リー群、リー代数およびハリシュ・チャンドラ-イッツィ積分の公式の例を示す。
次に、連続対称性を捉えるために必要不可欠な数学的ツールキットである最適化理論を紹介する。
論文 参考訳（メタデータ） (2021-09-02T16:44:44Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳（メタデータ） (2021-03-05T04:42:32Z) - Symmetric Positive Semi-definite Riemannian Geometry with Application to
Domain Adaptation [7.126737403006778]
対称正半定値行列(SPSD)の幾何学に関する新しい結果を示す。
本稿では,ドメイン適応(DA)のアルゴリズムを提案し,その性能を2つのアプリケーションで示す。
論文 参考訳（メタデータ） (2020-07-28T14:39:36Z) - Nonconvex Matrix Completion with Linearly Parameterized Factors [10.163102766021373]
パラメトリック因子化は、部分空間や完了シミュレーションを含む重要な例を示す。
また, 統一的非制約行列最適化法の有効性について述べる。
論文 参考訳（メタデータ） (2020-03-29T22:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。