論文の概要: Symmetric Matrix Completion with ReLU Sampling

• arxiv url: http://arxiv.org/abs/2406.05822v1
• Date: Sun, 9 Jun 2024 15:14:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 17:47:48.487832
• Title: Symmetric Matrix Completion with ReLU Sampling
• Title（参考訳）: ReLUサンプリングによる対称行列補完
• Authors: Huikang Liu, Peng Wang, Longxiu Huang, Qing Qu, Laura Balzano,
• Abstract要約: エントリー依存サンプリングによる対称正半定値低ランク行列補完(MC)の問題について検討する。 特に、静止点のみを観測する修正線形単位(ReLU)サンプリングについて検討する。
• 参考スコア（独自算出の注目度）: 15.095194065320987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of symmetric positive semi-definite low-rank matrix completion (MC) with deterministic entry-dependent sampling. In particular, we consider rectified linear unit (ReLU) sampling, where only positive entries are observed, as well as a generalization to threshold-based sampling. We first empirically demonstrate that the landscape of this MC problem is not globally benign: Gradient descent (GD) with random initialization will generally converge to stationary points that are not globally optimal. Nevertheless, we prove that when the matrix factor with a small rank satisfies mild assumptions, the nonconvex objective function is geodesically strongly convex on the quotient manifold in a neighborhood of a planted low-rank matrix. Moreover, we show that our assumptions are satisfied by a matrix factor with i.i.d. Gaussian entries. Finally, we develop a tailor-designed initialization for GD to solve our studied formulation, which empirically always achieves convergence to the global minima. We also conduct extensive experiments and compare MC methods, investigating convergence and completion performance with respect to initialization, noise level, dimension, and rank.
• Abstract（参考訳）: 本稿では, 決定論的エントリー依存サンプリングを用いた対称正半定値低ランク行列補完(MC)の問題について検討する。 特に,正の成分のみを観測する修正線形単位(ReLU)サンプリングや,しきい値に基づくサンプリングの一般化について検討する。 ランダム初期化を伴う勾配降下(GD)は、一般に大域的に最適でない定常点に収束する。 それでも、小さいランクの行列因子が穏やかな仮定を満たすとき、非凸目的関数は、植込みされた低ランク行列の近傍の商多様体上の測地的に強い凸であることを示す。 さらに、我々の仮定は、すなわちガウス成分を持つ行列因子によって満たされることを示す。 最後に、我々は、GD が研究された定式化を解くためのテーラー設計初期化を開発し、これは常に大域ミニマへの収束を経験的に達成する。 また, 初期化, 騒音レベル, 寸法, ランクに関して, コンバージェンスと完了性能について検討し, MC法との比較を行った。

関連論文リスト

• Low-rank Bayesian matrix completion via geodesic Hamiltonian Monte Carlo on Stiefel manifolds [0.18416014644193066]
  低ランクベイズ行列の効率的な計算を可能にするための新しいサンプリングベース手法を提案する。 提案手法は, 標準ギブスサンプリング器で発生するサンプリング困難を, 行列完備化に使用される一般的な2つの行列因子化のために解決することを示す。 数値的な例は、より優れた混合と定常分布への高速収束を含む優れたサンプリング性能を示す。
  論文  参考訳（メタデータ） (2024-10-27T03:12:53Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Rank-1 Matrix Completion with Gradient Descent and Small Random Initialization [15.127728811011245]
  我々は,GDの暗黙的正規化が分析において重要な役割を担っていることを示す。 我々は、手頃な分析において暗黙の正規化GDが重要な役割を担っていることを観察する。
  論文  参考訳（メタデータ） (2022-12-19T12:05:37Z)
• Algorithmic Regularization in Model-free Overparametrized Asymmetric Matrix Factorization [16.325663190517773]
  我々は、任意の過パラメータ化を持つ自然な非定式化の下で、非対称な分解問題を考察する。 観測された行列に対して最高の低ランク近似を生成する。
  論文  参考訳（メタデータ） (2022-03-06T00:07:53Z)
• Global Convergence of Sub-gradient Method for Robust Matrix Recovery: Small Initialization, Noisy Measurements, and Over-parameterization [4.7464518249313805]
  サブグラディエント法(Sub-gradient method, SubGM)は, 限られた測定値から低ランク行列を復元するために用いられる。 我々は、SubGMが任意の大きさの高密度ノイズ値の下でも、真の解に収束することを示す。
  論文  参考訳（メタデータ） (2022-02-17T17:50:04Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Optimal Sample Complexity of Subgradient Descent for Amplitude Flow via Non-Lipschitz Matrix Concentration [12.989855325491163]
  我々は、実数値の$n$次元信号を、位相のない線形測定値から復元する問題を考察する。 ランダムな不連続行列値演算子の均一な濃度に基づいて, 最適なサンプル複雑性を持つ下降勾配の局所収束を確立する。
  論文  参考訳（メタデータ） (2020-10-31T15:03:30Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)
• Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion [101.83262280224729]
  我々は、原子核ノルム正規化行列補完に対する相対誤差を開発する。 未知行列の最適低ランク近似を回復するための相対上界を導出する。
  論文  参考訳（メタデータ） (2015-04-26T13:12:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。