論文の概要: The Landscape of Matrix Factorization Revisited
- arxiv url: http://arxiv.org/abs/2002.12795v2
- Date: Sat, 30 May 2020 21:47:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 07:11:36.026133
- Title: The Landscape of Matrix Factorization Revisited
- Title（参考訳）: マトリックス因子化の景観再考
- Authors: Hossein Valavi, Sulin Liu and Peter J. Ramadge
- Abstract要約: 一般線型群の下で臨界点の軌道を考える。
各正準厳密なサドルにおけるヘッセンの最小固有値の式を導出する。
一般的な状況とは対照的に、$mathcalM_0$ における厳密なサドルの最小固有値は、ゼロ以下に一様有界であることを示す。
- 参考スコア（独自算出の注目度）: 12.474394452821576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We revisit the landscape of the simple matrix factorization problem. For
low-rank matrix factorization, prior work has shown that there exist infinitely
many critical points all of which are either global minima or strict saddles.
At a strict saddle the minimum eigenvalue of the Hessian is negative. Of
interest is whether this minimum eigenvalue is uniformly bounded below zero
over all strict saddles. To answer this we consider orbits of critical points
under the general linear group. For each orbit we identify a representative
point, called a canonical point. If a canonical point is a strict saddle, so is
every point on its orbit. We derive an expression for the minimum eigenvalue of
the Hessian at each canonical strict saddle and use this to show that the
minimum eigenvalue of the Hessian over the set of strict saddles is not
uniformly bounded below zero. We also show that a known invariance property of
gradient flow ensures the solution of gradient flow only encounters critical
points on an invariant manifold $\mathcal{M}_C$ determined by the initial
condition. We show that, in contrast to the general situation, the minimum
eigenvalue of strict saddles in $\mathcal{M}_{0}$ is uniformly bounded below
zero. We obtain an expression for this bound in terms of the singular values of
the matrix being factorized. This bound depends on the size of the nonzero
singular values and on the separation between distinct nonzero singular values
of the matrix.
- Abstract（参考訳）: 我々は、単純な行列分解問題の展望を再検討する。
低ランク行列分解について、以前の研究は、すべて大域ミニマあるいは厳密なサドルである無限に多くの臨界点が存在することを示した。
厳密な saddle において、ヘッセンの最小固有値は負である。
興味深いのは、この最小固有値がすべての厳密な鞍の上でゼロ以下で一様に有界であるかどうかである。
これに対応するために、一般線型群の下で臨界点の軌道を考える。
各軌道に対して、正準点と呼ばれる代表点を特定する。
標準点が厳密な鞍であれば、軌道上のすべての点も同様である。
我々は、各正準厳密なサドルにおけるヘッセンの最小固有値の式を導出し、これを用いて、厳密なサドルの集合上のヘッセンの最小固有値がゼロ以下に一様有界でないことを示す。
また, 勾配流の既知の不変性は, 勾配流の解が初期条件によって決定される不変多様体 $\mathcal{m}_c$ 上の臨界点にのみ遭遇することを保証することを示した。
一般的な状況とは対照的に、$\mathcal{M}_{0}$ の厳密なサドルの最小固有値は、ゼロ以下に一様有界であることを示す。
我々は、行列の特異値が分解されるという観点から、この境界に対する式を得る。
この境界は、非零特異値の大きさと行列の異なる非零特異値の分離に依存する。
関連論文リスト
- Simple Relative Deviation Bounds for Covariance and Gram Matrices [34.99810116340191]
経験的共分散およびグラム行列の固有値に対する非漸近的相対偏差境界を提供する。
我々の結果はスペクトルをまたいだよりシャープな制御を提供する。
論文 参考訳（メタデータ） (2024-10-08T07:28:56Z) - Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。
重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。
我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
論文 参考訳（メタデータ） (2024-05-23T12:26:25Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳（メタデータ） (2023-11-04T11:12:24Z) - The Inductive Bias of Flatness Regularization for Deep Matrix
Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。
測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文 参考訳（メタデータ） (2023-06-22T23:14:57Z) - Almost Tight Error Bounds on Differentially Private Continual Counting [11.549143183739577]
プライベートフェデレーション学習の最初の大規模展開は、継続リリースモデルにおける差分プライベートカウントをサブルーチンとして利用する。
連続カウントの標準的なメカニズムはバイナリメカニズムである。
そこで本研究では,その平均二乗誤差が両立最適であり,二乗メカニズムの誤差よりも小さい因子が10であることを示す。
論文 参考訳（メタデータ） (2022-11-09T16:35:42Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-30T19:17:35Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Asymptotic Escape of Spurious Critical Points on the Low-rank Matrix
Manifold [2.692735698714241]
低ランク行列多様体が不完全集合であることを考えると、この問題は初めて克服される。
動的低ランク近似と再スケール勾配流を用いることで、いくつかの急激な臨界点を古典的な厳密なサドル点に変換することができることを示す。
論文 参考訳（メタデータ） (2021-07-20T00:25:54Z) - Unique sparse decomposition of low rank matrices [17.037882881652617]
低階行列Yin mathbbRrtimes n$ のユニークな分解が見つかる。
我々は、ある$Yin MathRrtimes n$が$Xin mathbbRrtimes n$のスパースワイズ分解であることを示す。
論文 参考訳（メタデータ） (2021-06-14T20:05:59Z) - On the Optimality of Nuclear-norm-based Matrix Completion for Problems
with Smooth Non-linear Structure [19.069068837749885]
行列完備化は、下層の行列に低次元線型構造を仮定する理由がない多くの問題において広く有効であることが証明されている。
原子核のペナライゼーションは、観測がランダムに完全に欠けている場合にこれらの行列を回復するのに有効であることを示す。
論文 参考訳（メタデータ） (2021-05-05T05:34:32Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳（メタデータ） (2021-05-03T16:36:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。