論文の概要: Asymptotic Escape of Spurious Critical Points on the Low-rank Matrix
Manifold
- arxiv url: http://arxiv.org/abs/2107.09207v1
- Date: Tue, 20 Jul 2021 00:25:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-21 15:03:34.670742
- Title: Asymptotic Escape of Spurious Critical Points on the Low-rank Matrix
Manifold
- Title(参考訳): 低ランク行列多様体上のスプリアス臨界点の漸近的脱却
- Authors: Thomas Y. Hou, Zhenzhen Li, and Ziyun Zhang
- Abstract要約: 低ランク行列多様体が不完全集合であることを考えると、この問題は初めて克服される。
動的低ランク近似と再スケール勾配流を用いることで、いくつかの急激な臨界点を古典的な厳密なサドル点に変換することができることを示す。
- 参考スコア(独自算出の注目度): 2.692735698714241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show that the Riemannian gradient descent algorithm on the low-rank matrix
manifold almost surely escapes some spurious critical points on the boundary of
the manifold. Given that the low-rank matrix manifold is an incomplete set,
this result is the first to overcome this difficulty and partially justify the
global use of the Riemannian gradient descent on the manifold. The spurious
critical points are some rank-deficient matrices that capture only part of the
SVD components of the ground truth. They exhibit very singular behavior and
evade the classical analysis of strict saddle points. We show that using the
dynamical low-rank approximation and a rescaled gradient flow, some of the
spurious critical points can be converted to classical strict saddle points,
which leads to the desired result. Numerical experiments are provided to
support our theoretical findings.
- Abstract(参考訳): 低ランク行列多様体上のリーマン勾配降下アルゴリズムは、多様体の境界上のいくつかの急激な臨界点をほぼ確実に逃がすことを示す。
低ランク行列多様体が不完全集合であることを考えると、この困難を克服し、多様体上のリーマン勾配降下を部分的に正当化する最初の結果となる。
突発的臨界点は、基底真理のSVD成分の一部のみを捉える階数不足行列である。
それらは非常に特異な振る舞いを示し、厳密な鞍点の古典的解析を回避している。
動的低ランク近似と再スケール勾配流を用いることで、いくつかの急激な臨界点を古典的な厳密なサドル点に変換し、所望の結果をもたらすことを示す。
理論的知見を裏付ける数値実験を行った。
関連論文リスト
- Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳(メタデータ) (2023-11-04T11:12:24Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳(メタデータ) (2023-06-29T01:20:44Z) - The Inductive Bias of Flatness Regularization for Deep Matrix
Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。
測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文 参考訳(メタデータ) (2023-06-22T23:14:57Z) - Fast global convergence of gradient descent for low-rank matrix
approximation [3.8725717612267774]
我々は、特に小さなランダム値で達成された場合、勾配降下の急速な大域収束を証明した。
我々は,非対称行列近似問題に対処するために解析を拡張し,リトラクションフリーな固有空間計算法の有効性について検討する。
論文 参考訳(メタデータ) (2023-05-30T16:55:34Z) - Critical Points and Convergence Analysis of Generative Deep Linear
Networks Trained with Bures-Wasserstein Loss [2.294014185517203]
本稿では,バーレス=ヴァッサーシュタイン距離で学習した共分散行列の行列分解モデルについて考察する。
階数有界行列の空間上のバーレス=ヴァッサーシュタイン距離の臨界点と最小化器を特徴づける。
有限段勾配勾配のスムーズな摂動バージョンを用いて勾配流の収束結果を確立する。
論文 参考訳(メタデータ) (2023-03-06T10:56:14Z) - First-Order Algorithms for Min-Max Optimization in Geodesic Metric
Spaces [93.35384756718868]
min-maxアルゴリズムはユークリッド設定で解析されている。
指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
論文 参考訳(メタデータ) (2022-06-04T18:53:44Z) - Small random initialization is akin to spectral learning: Optimization
and generalization guarantees for overparameterized low-rank matrix
reconstruction [35.585697639325105]
本稿では,小さなランダム初期化が完全には理解されていないことを示す。
我々は、小さな乱数行列から勾配を再構成し、低い乱数行列から最適勾配に類似した解を求める。
論文 参考訳(メタデータ) (2021-06-28T22:52:39Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳(メタデータ) (2021-06-28T00:17:01Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳(メタデータ) (2021-05-03T16:36:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。