論文の概要: Asymptotic Escape of Spurious Critical Points on the Low-rank Matrix Manifold

• arxiv url: http://arxiv.org/abs/2107.09207v1
• Date: Tue, 20 Jul 2021 00:25:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 15:03:34.670742
• Title: Asymptotic Escape of Spurious Critical Points on the Low-rank Matrix Manifold
• Title（参考訳）: 低ランク行列多様体上のスプリアス臨界点の漸近的脱却
• Authors: Thomas Y. Hou, Zhenzhen Li, and Ziyun Zhang
• Abstract要約: 低ランク行列多様体が不完全集合であることを考えると、この問題は初めて克服される。 動的低ランク近似と再スケール勾配流を用いることで、いくつかの急激な臨界点を古典的な厳密なサドル点に変換することができることを示す。
• 参考スコア（独自算出の注目度）: 2.692735698714241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that the Riemannian gradient descent algorithm on the low-rank matrix manifold almost surely escapes some spurious critical points on the boundary of the manifold. Given that the low-rank matrix manifold is an incomplete set, this result is the first to overcome this difficulty and partially justify the global use of the Riemannian gradient descent on the manifold. The spurious critical points are some rank-deficient matrices that capture only part of the SVD components of the ground truth. They exhibit very singular behavior and evade the classical analysis of strict saddle points. We show that using the dynamical low-rank approximation and a rescaled gradient flow, some of the spurious critical points can be converted to classical strict saddle points, which leads to the desired result. Numerical experiments are provided to support our theoretical findings.
• Abstract（参考訳）: 低ランク行列多様体上のリーマン勾配降下アルゴリズムは、多様体の境界上のいくつかの急激な臨界点をほぼ確実に逃がすことを示す。 低ランク行列多様体が不完全集合であることを考えると、この困難を克服し、多様体上のリーマン勾配降下を部分的に正当化する最初の結果となる。 突発的臨界点は、基底真理のSVD成分の一部のみを捉える階数不足行列である。 それらは非常に特異な振る舞いを示し、厳密な鞍点の古典的解析を回避している。 動的低ランク近似と再スケール勾配流を用いることで、いくつかの急激な臨界点を古典的な厳密なサドル点に変換し、所望の結果をもたらすことを示す。 理論的知見を裏付ける数値実験を行った。

関連論文リスト

• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Critical Points and Convergence Analysis of Generative Deep Linear Networks Trained with Bures-Wasserstein Loss [2.294014185517203]
  本稿では,バーレス=ヴァッサーシュタイン距離で学習した共分散行列の行列分解モデルについて考察する。 階数有界行列の空間上のバーレス=ヴァッサーシュタイン距離の臨界点と最小化器を特徴づける。 有限段勾配勾配のスムーズな摂動バージョンを用いて勾配流の収束結果を確立する。
  論文  参考訳（メタデータ） (2023-03-06T10:56:14Z)
• First-Order Algorithms for Min-Max Optimization in Geodesic Metric Spaces [93.35384756718868]
  min-maxアルゴリズムはユークリッド設定で解析されている。 指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
  論文  参考訳（メタデータ） (2022-06-04T18:53:44Z)
• Convergence of gradient descent for learning linear neural networks [2.209921757303168]
  勾配勾配勾配は損失関数の臨界点,すなわち本論文の平方損失に収束することを示す。 3層以上の層の場合、勾配勾配は、ある固定階数の多様体行列上の大域最小値に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-04T13:10:30Z)
• Small random initialization is akin to spectral learning: Optimization and generalization guarantees for overparameterized low-rank matrix reconstruction [35.585697639325105]
  本稿では,小さなランダム初期化が完全には理解されていないことを示す。 我々は、小さな乱数行列から勾配を再構成し、低い乱数行列から最適勾配に類似した解を求める。
  論文  参考訳（メタデータ） (2021-06-28T22:52:39Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。