論文の概要: Over-parametrization via Lifting for Low-rank Matrix Sensing: Conversion
of Spurious Solutions to Strict Saddle Points
- arxiv url: http://arxiv.org/abs/2302.07828v1
- Date: Wed, 15 Feb 2023 18:14:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-16 14:11:44.563619
- Title: Over-parametrization via Lifting for Low-rank Matrix Sensing: Conversion
of Spurious Solutions to Strict Saddle Points
- Title（参考訳）: 低ランクマトリクスセンシングのための昇降による超パラメトリゼーション:スプリアス溶液の厳密なサドル点への変換
- Authors: Ziye Ma, Igor Molybog, Javad Lavaei, Somayeh Sojoudi
- Abstract要約: 本稿では,Burer-Monte 因数分解による問題の非解法に関する重要なクラスについて述べる。
この問題の解は階層を通して定常点にとどまっているが、それらもまた厳密なサドル点に変換される。
これは、過度なパラメトリゼーションが解に対して負となることを示す文献の最初の結果である。
- 参考スコア（独自算出の注目度）: 19.76880379215792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the role of over-parametrization in solving non-convex
optimization problems. The focus is on the important class of low-rank matrix
sensing, where we propose an infinite hierarchy of non-convex problems via the
lifting technique and the Burer-Monteiro factorization. This contrasts with the
existing over-parametrization technique where the search rank is limited by the
dimension of the matrix and it does not allow a rich over-parametrization of an
arbitrary degree. We show that although the spurious solutions of the problem
remain stationary points through the hierarchy, they will be transformed into
strict saddle points (under some technical conditions) and can be escaped via
local search methods. This is the first result in the literature showing that
over-parametrization creates a negative curvature for escaping spurious
solutions. We also derive a bound on how much over-parametrization is requited
to enable the elimination of spurious solutions.
- Abstract（参考訳）: 本稿では,非凸最適化問題の解法におけるオーバーパラメトリゼーションの役割について検討する。
本研究では,非凸問題の無限階層を昇降法とバーラー・モンテイロ因子分解を用いて提案する,低ランク行列センシングの重要なクラスに焦点をあてる。
これは、行列の次元によって探索ランクが制限され、任意の次数のリッチなオーバーパラメトリゼーションを許さない既存のオーバーパラメトリゼーション手法とは対照的である。
この問題のスプリアス解は階層を通して定常点であり続けるが、それらは(いくつかの技術的条件の下で)厳密な鞍点へと変換され、局所探索法によって回避される。
これは、過パラメトリゼーションが急激な解を逃れるために負の曲率を生み出すことを示す文献の最初の結果である。
また、急激な解の除去を可能にするために、過度なパラメトリゼーションがどれだけ必要かという境界も導き出す。
関連論文リスト
- Imaging Interiors: An Implicit Solution to Electromagnetic Inverse Scattering Problems [74.28677741399966]
EISP(Electromagnetic Inverse Scattering Problems)は、計算画像に広く応用されている。
本稿では,EISPにおけるこれらの課題に,暗黙のアプローチで対処する。
我々のアプローチは、標準ベンチマークデータセットにおける既存のメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-07-12T15:25:54Z) - Absence of spurious solutions far from ground truth: A low-rank analysis
with high-order losses [28.034556542422976]
マトリックスセンシング問題は、最適以下の急激な解の拡散を伴う、広範に非順序性を示す。
この研究は、景観の複雑さを解き明かす新しい理論的な洞察を提供する。
論文 参考訳（メタデータ） (2024-03-10T01:07:22Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳（メタデータ） (2023-11-04T11:12:24Z) - Critical Points and Convergence Analysis of Generative Deep Linear
Networks Trained with Bures-Wasserstein Loss [2.294014185517203]
本稿では,バーレス=ヴァッサーシュタイン距離で学習した共分散行列の行列分解モデルについて考察する。
階数有界行列の空間上のバーレス=ヴァッサーシュタイン距離の臨界点と最小化器を特徴づける。
有限段勾配勾配のスムーズな摂動バージョンを用いて勾配流の収束結果を確立する。
論文 参考訳（メタデータ） (2023-03-06T10:56:14Z) - A Validation Approach to Over-parameterized Matrix and Image Recovery [29.29430943998287]
複数のランダムな線形測定から低ランク行列を復元する問題を考察する。
提案手法は,より深いネットワークを持つ画像である画像に有効であることを示す。
論文 参考訳（メタデータ） (2022-09-21T22:01:23Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-30T19:17:35Z) - Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact
Recovery [37.05862765171643]
我々は、ランクに関する事前の知識を持たない低ランク行列のロバストな分解を考える。
本稿では,行列のサイズを小さくする設計により,過度に最適化されたモデルにおける過度な適合を効果的に防止できることを示す。
論文 参考訳（メタデータ） (2021-09-23T05:54:46Z) - Solving weakly supervised regression problem using low-rank manifold
regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。
weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。
数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文 参考訳（メタデータ） (2021-04-13T23:21:01Z) - Regret minimization in stochastic non-convex learning via a
proximal-gradient approach [80.59047515124198]
機械学習やオペレーションの応用によって動機づけられた私たちは、オンラインで制約された問題を最小化するために、一階のオラクルフィードバックを後悔しています。
我々は、近位複雑性低減技術を保証する新しいプロキシグレードを開発する。
論文 参考訳（メタデータ） (2020-10-13T09:22:21Z) - Low-rank matrix recovery with non-quadratic loss: projected gradient
method and regularity projection oracle [23.84884127542249]
低ランク行列回復の既往の結果は2次損失に大きく影響した。
非二次的損失を伴う証明可能な低ランク回復における重要な要素が正規性予測であることを示す。
論文 参考訳（メタデータ） (2020-08-31T17:56:04Z) - Robust Low-rank Matrix Completion via an Alternating Manifold Proximal
Gradient Continuation Method [47.80060761046752]
ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。
この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。
RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。
本稿では、近年のローワークの動機付けについて述べる。
論文 参考訳（メタデータ） (2020-08-18T04:46:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。