論文の概要: A Validation Approach to Over-parameterized Matrix and Image Recovery
- arxiv url: http://arxiv.org/abs/2209.10675v1
- Date: Wed, 21 Sep 2022 22:01:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 13:08:18.454729
- Title: A Validation Approach to Over-parameterized Matrix and Image Recovery
- Title(参考訳): 過パラメータ行列の検証と画像復元
- Authors: Lijun Ding, Zhen Qin, Liwei Jiang, Jinxin Zhou, Zhihui Zhu
- Abstract要約: 多数のランダムな線形測定から低ランクを復元する問題を考察する。
測定演算子が制限等尺(RIP)の階数スケーリングを地上特定行列で満たす限り、勾配降下は地上特定行列に対して特定の軌道上にあることが示される。
- 参考スコア(独自算出の注目度): 26.374729978056838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study the problem of recovering a low-rank matrix from a
number of noisy random linear measurements. We consider the setting where the
rank of the ground-truth matrix is unknown a prior and use an overspecified
factored representation of the matrix variable, where the global optimal
solutions overfit and do not correspond to the underlying ground-truth. We then
solve the associated nonconvex problem using gradient descent with small random
initialization. We show that as long as the measurement operators satisfy the
restricted isometry property (RIP) with its rank parameter scaling with the
rank of ground-truth matrix rather than scaling with the overspecified matrix
variable, gradient descent iterations are on a particular trajectory towards
the ground-truth matrix and achieve nearly information-theoretically optimal
recovery when stop appropriately. We then propose an efficient early stopping
strategy based on the common hold-out method and show that it detects nearly
optimal estimator provably. Moreover, experiments show that the proposed
validation approach can also be efficiently used for image restoration with
deep image prior which over-parameterizes an image with a deep network.
- Abstract(参考訳): そこで本研究では,多数の雑音のランダムな線形測定から低ランク行列を復元する問題について検討する。
ここでは, 基底トラス行列のランクが未知であるような設定について考察し, 大域最適解が過度に適合し, 基底トラスと対応しない行列変数の過特定因子表現を用いる。
次に,小さなランダム初期化を伴う勾配降下を用いて,関連する非凸問題を解く。
以上の結果から, 測定演算子は, 過比行列変数にスケールするよりも, 接地行列のランクにスケールするランクパラメータで, 制限等長性 (rip) を満たす限り, 傾斜降下イテレーションは接地行列への特定の軌道上にあり, 適切に停止すると, ほぼ情報理論上最適回復が達成されることが示された。
そこで我々は,共通ホールドアウト法に基づく効率的な早期停止戦略を提案し,ほぼ最適な推定器を確実に検出することを示す。
さらに,提案手法は,ディープネットワークによる画像の過剰パラメータ化に先行する深層画像を用いた画像復元にも効果的に使用できることを示す実験を行った。
関連論文リスト
- Fast global convergence of gradient descent for low-rank matrix
approximation [3.8725717612267774]
我々は、特に小さなランダム値で達成された場合、勾配降下の急速な大域収束を証明した。
我々は,非対称行列近似問題に対処するために解析を拡張し,リトラクションフリーな固有空間計算法の有効性について検討する。
論文 参考訳(メタデータ) (2023-05-30T16:55:34Z) - Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。
提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
論文 参考訳(メタデータ) (2022-10-23T23:23:23Z) - Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex
Regularizers [0.0]
本稿では,低ランク行列やスパースベクトルをある種の測定値から回収しようとする大問題について考察する。
凸偏差推定器に基づく手法は、ランクや空間の偏りに悩まされているが、非正則化器を用いる。
本稿では,このような問題に適用した近似交互バイアス降下アルゴリズムの新たな解析法を提案する。
論文 参考訳(メタデータ) (2021-09-26T22:09:42Z) - Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact
Recovery [37.05862765171643]
我々は、ランクに関する事前の知識を持たない低ランク行列のロバストな分解を考える。
本稿では,行列のサイズを小さくする設計により,過度に最適化されたモデルにおける過度な適合を効果的に防止できることを示す。
論文 参考訳(メタデータ) (2021-09-23T05:54:46Z) - Solving weakly supervised regression problem using low-rank manifold
regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。
weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。
数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文 参考訳(メタデータ) (2021-04-13T23:21:01Z) - Robust Low-rank Matrix Completion via an Alternating Manifold Proximal
Gradient Continuation Method [47.80060761046752]
ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。
この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。
RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。
本稿では、近年のローワークの動機付けについて述べる。
論文 参考訳(メタデータ) (2020-08-18T04:46:22Z) - A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix
Completion [60.52730146391456]
そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。
特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。
既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
論文 参考訳(メタデータ) (2020-08-14T18:47:58Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled
Gradient Descent [34.0533596121548]
低ランク行列推定は凸問題を収束させ、信号処理、機械学習、画像科学に多くの応用を見出す。
低ランク行列の個数の観点から,ScaledGDが最良となることを示す。
我々の分析は、低ランク勾配降下に類似した一般損失にも適用できる。
論文 参考訳(メタデータ) (2020-05-18T17:17:16Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳(メタデータ) (2020-02-20T18:43:42Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳(メタデータ) (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。