論文の概要: Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery

• arxiv url: http://arxiv.org/abs/2109.11154v1
• Date: Thu, 23 Sep 2021 05:54:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-24 15:10:38.483871
• Title: Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery
• Title（参考訳）: ランク過特定ロバストマトリックスの回復 : 下位法とエクサクサリカバリ
• Authors: Lijun Ding, Liwei Jiang, Yudong Chen, Qing Qu, Zhihui Zhu
• Abstract要約: 我々は、ランクに関する事前の知識を持たない低ランク行列のロバストな分解を考える。 本稿では,行列のサイズを小さくする設計により,過度に最適化されたモデルにおける過度な適合を効果的に防止できることを示す。
• 参考スコア（独自算出の注目度）: 37.05862765171643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the robust recovery of a low-rank matrix from sparsely and grossly corrupted Gaussian measurements, with no prior knowledge on the intrinsic rank. We consider the robust matrix factorization approach. We employ a robust $\ell_1$ loss function and deal with the challenge of the unknown rank by using an overspecified factored representation of the matrix variable. We then solve the associated nonconvex nonsmooth problem using a subgradient method with diminishing stepsizes. We show that under a regularity condition on the sensing matrices and corruption, which we call restricted direction preserving property (RDPP), even with rank overspecified, the subgradient method converges to the exact low-rank solution at a sublinear rate. Moreover, our result is more general in the sense that it automatically speeds up to a linear rate once the factor rank matches the unknown rank. On the other hand, we show that the RDPP condition holds under generic settings, such as Gaussian measurements under independent or adversarial sparse corruptions, where the result could be of independent interest. Both the exact recovery and the convergence rate of the proposed subgradient method are numerically verified in the overspecified regime. Moreover, our experiment further shows that our particular design of diminishing stepsize effectively prevents overfitting for robust recovery under overparameterized models, such as robust matrix sensing and learning robust deep image prior. This regularization effect is worth further investigation.
• Abstract（参考訳）: 本研究は,低位行列のロバストな回復について,本質的階数に関する知識を必要とせず,粗弱で粗悪なガウス的測定値から検討した。 我々はロバストな行列分解手法を考える。 我々は、ロバストな$\ell_1$損失関数を採用し、行列変数の過剰な因子表現を用いて未知ランクの挑戦に対処する。 次に、ステップが減少する部分勾配法を用いて、関連する非凸非スムース問題を解く。 我々は, 制限方向保存特性 (rdpp) と呼ばれる知覚行列と腐敗に関する規則性条件下では, ランクが過度に定まっても, 下位勾配法は完全低ランク解にサブリニアレートで収束することを示す。 さらに, 因子のランクが未知のランクと一致すると, 自動的に線形速度に上昇するという意味では, 結果がより一般的である。 一方, rdpp条件は, 独立あるいは敵対的スパース破壊下でのガウス計測など, 汎用的な設定下では成立し, 結果が独立な利害関係にあることを示す。 提案手法の厳密な回復と収束率の両方を過度に特定された状況下で数値的に検証する。 さらに,本実験では,ロバストマトリックスセンシングや学習用深部画像の事前学習といった過パラメータモデル下でのロバスト回復の過剰フィッティングを効果的に防止することを示す。 この正規化効果はさらなる調査に値する。

関連論文リスト

• Guarantees of a Preconditioned Subgradient Algorithm for Overparameterized Asymmetric Low-rank Matrix Recovery [8.722715843502321]
  本研究では, 行列分解に基づくロバストな低ランクおよび非対称な行列復元手法に着目した。 本稿では,探索行列の条件数に依存しない事前条件付きアルゴリズムの利点を継承する段階的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-22T08:58:44Z)
• A Validation Approach to Over-parameterized Matrix and Image Recovery [29.29430943998287]
  複数のランダムな線形測定から低ランク行列を復元する問題を考察する。 提案手法は,より深いネットワークを持つ画像である画像に有効であることを示す。
  論文  参考訳（メタデータ） (2022-09-21T22:01:23Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Implicit Regularization of Sub-Gradient Method in Robust Matrix Recovery: Don't be Afraid of Outliers [6.320141734801679]
  簡単な部分勾配法が真の低ランク解に効率的に収束することを示す。 また,本手法のロバスト性を証明するために,シグナ-RIPと呼ばれる制限等尺性の概念を新たに構築する。
  論文  参考訳（メタデータ） (2021-02-05T02:52:00Z)
• Low-Rank Matrix Recovery with Scaled Subgradient Methods: Fast and Robust Convergence Without the Condition Number [34.0533596121548]
  データ科学における多くの問題は、高度に不完全で、時には腐敗した観測から低いランクを推定するものとして扱われる。 1つの一般的なアプローチは行列分解に頼り、低ランク行列因子は滑らかな損失に対して一階法によって最適化される。
  論文  参考訳（メタデータ） (2020-10-26T06:21:14Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Robust Compressed Sensing using Generative Models [98.64228459705859]
  本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。 我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
  論文  参考訳（メタデータ） (2020-06-16T19:07:41Z)
• Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization [46.22605476383572]
  差分学習率の勾配降下は, 行列のランクや破損の頻度について事前の知識がなくても, 基礎となる行列を確実に回復させることを示す。 本手法は,ネットワーク幅と終了条件をケースバイケースで調整する必要のない単一学習パイプラインを用いて,異なるテストイメージと様々な汚職レベルを処理している。
  論文  参考訳（メタデータ） (2020-06-16T01:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。