論文の概要: A Validation Approach to Over-parameterized Matrix and Image Recovery

• arxiv url: http://arxiv.org/abs/2209.10675v2
• Date: Fri, 04 Oct 2024 19:39:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:41:13.282202
• Title: A Validation Approach to Over-parameterized Matrix and Image Recovery
• Title（参考訳）: 過パラメータ行列の検証と画像復元
• Authors: Lijun Ding, Zhen Qin, Liwei Jiang, Jinxin Zhou, Zhihui Zhu,
• Abstract要約: 複数のランダムな線形測定から低ランク行列を復元する問題を考察する。 提案手法は,より深いネットワークを持つ画像である画像に有効であることを示す。
• 参考スコア（独自算出の注目度）: 29.29430943998287
• License:
• Abstract: This paper studies the problem of recovering a low-rank matrix from several noisy random linear measurements. We consider the setting where the rank of the ground-truth matrix is unknown a priori and use an objective function built from a rank-overspecified factored representation of the matrix variable, where the global optimal solutions overfit and do not correspond to the underlying ground truth. We then solve the associated nonconvex problem using gradient descent with small random initialization. We show that as long as the measurement operators satisfy the restricted isometry property (RIP) with its rank parameter scaling with the rank of the ground-truth matrix rather than scaling with the overspecified matrix rank, gradient descent iterations are on a particular trajectory towards the ground-truth matrix and achieve nearly information-theoretically optimal recovery when it is stopped appropriately. We then propose an efficient stopping strategy based on the common hold-out method and show that it detects a nearly optimal estimator provably. Moreover, experiments show that the proposed validation approach can also be efficiently used for image restoration with deep image prior, which over-parameterizes an image with a deep network.
• Abstract（参考訳）: 本稿では,複数の雑音のランダムな線形測定から低ランク行列を復元する問題について検討する。 ここでは,大域最適解が過度に適合し,基礎となる基底真理と一致しない行列変数の階数過多因子表現から構築された目的関数を用いて,基底行列の階数が未知となるような設定を考察する。 そして、小さなランダム初期化を伴う勾配降下を用いて、関連する非凸問題を解く。 測定演算子が制限等尺性 (RIP) を満たす限り、そのランクパラメータのスケーリングは、過剰に特定された行列ランクにスケールするのではなく、接地トラルト行列のランクにスケールし、勾配降下反復は、接地トラルト行列に向かって特定の軌道上にあることを示し、適切に停止した場合、ほぼ情報理論的に最適な回復を達成する。 そこで我々は,共通ホールドアウト法に基づく効率的な停止戦略を提案し,ほぼ最適な推定器を確実に検出することを示す。 さらに, 実験により, 提案手法は深部画像の復元に有効であり, 深部ネットワークによる画像の過度なパラメータ化を行うことを示す。

関連論文リスト

• Guarantees of a Preconditioned Subgradient Algorithm for Overparameterized Asymmetric Low-rank Matrix Recovery [8.722715843502321]
  本研究では, 行列分解に基づくロバストな低ランクおよび非対称な行列復元手法に着目した。 本稿では,探索行列の条件数に依存しない事前条件付きアルゴリズムの利点を継承する段階的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-22T08:58:44Z)
• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
  そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。 提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
  論文  参考訳（メタデータ） (2024-09-07T06:37:23Z)
• SPARE: Symmetrized Point-to-Plane Distance for Robust Non-Rigid Registration [76.40993825836222]
  本研究では,SPAREを提案する。SPAREは,非剛性登録のための対称化点-平面間距離を用いた新しい定式化である。 提案手法は, 厳密でない登録問題の精度を大幅に向上し, 比較的高い解効率を維持する。
  論文  参考訳（メタデータ） (2024-05-30T15:55:04Z)
• Diff-PCR: Diffusion-Based Correspondence Searching in Doubly Stochastic Matrix Space for Point Cloud Registration [35.82753072083472]
  最先端の手法では、ソリューションを洗練させるためにRAFTのような反復的な更新が採用されている。 本稿では,最適マッチング行列の探索を予測するために,Denoising Diffusion Modelを利用する新しい手法を提案する。 提案手法は,オンラインバックボーンやホワイトノイズによって提供される任意の初期マッチング行列から検索を開始することで,柔軟性を提供する。
  論文  参考訳（メタデータ） (2023-12-31T09:24:28Z)
• Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
  低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。 低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。 簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:06:41Z)
• Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex Regularizers [0.0]
  本稿では,低ランク行列やスパースベクトルをある種の測定値から回収しようとする大問題について考察する。 凸偏差推定器に基づく手法は、ランクや空間の偏りに悩まされているが、非正則化器を用いる。 本稿では,このような問題に適用した近似交互バイアス降下アルゴリズムの新たな解析法を提案する。
  論文  参考訳（メタデータ） (2021-09-26T22:09:42Z)
• Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery [37.05862765171643]
  我々は、ランクに関する事前の知識を持たない低ランク行列のロバストな分解を考える。 本稿では,行列のサイズを小さくする設計により,過度に最適化されたモデルにおける過度な適合を効果的に防止できることを示す。
  論文  参考訳（メタデータ） (2021-09-23T05:54:46Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent [34.0533596121548]
  低ランク行列推定は凸問題を収束させ、信号処理、機械学習、画像科学に多くの応用を見出す。 低ランク行列の個数の観点から,ScaledGDが最良となることを示す。 我々の分析は、低ランク勾配降下に類似した一般損失にも適用できる。
  論文  参考訳（メタデータ） (2020-05-18T17:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。