論文の概要: Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent

• arxiv url: http://arxiv.org/abs/2005.08898v4
• Date: Mon, 14 Jun 2021 20:11:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 23:30:33.579447
• Title: Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent
• Title（参考訳）: スケールド勾配降下による非条件低ランク行列推定の高速化
• Authors: Tian Tong, Cong Ma, Yuejie Chi
• Abstract要約: 低ランク行列推定は凸問題を収束させ、信号処理、機械学習、画像科学に多くの応用を見出す。 低ランク行列の個数の観点から,ScaledGDが最良となることを示す。 我々の分析は、低ランク勾配降下に類似した一般損失にも適用できる。
• 参考スコア（独自算出の注目度）: 34.0533596121548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank matrix estimation is a canonical problem that finds numerous applications in signal processing, machine learning and imaging science. A popular approach in practice is to factorize the matrix into two compact low-rank factors, and then optimize these factors directly via simple iterative methods such as gradient descent and alternating minimization. Despite nonconvexity, recent literatures have shown that these simple heuristics in fact achieve linear convergence when initialized properly for a growing number of problems of interest. However, upon closer examination, existing approaches can still be computationally expensive especially for ill-conditioned matrices: the convergence rate of gradient descent depends linearly on the condition number of the low-rank matrix, while the per-iteration cost of alternating minimization is often prohibitive for large matrices. The goal of this paper is to set forth a competitive algorithmic approach dubbed Scaled Gradient Descent (ScaledGD) which can be viewed as pre-conditioned or diagonally-scaled gradient descent, where the pre-conditioners are adaptive and iteration-varying with a minimal computational overhead. With tailored variants for low-rank matrix sensing, robust principal component analysis and matrix completion, we theoretically show that ScaledGD achieves the best of both worlds: it converges linearly at a rate independent of the condition number of the low-rank matrix similar as alternating minimization, while maintaining the low per-iteration cost of gradient descent. Our analysis is also applicable to general loss functions that are restricted strongly convex and smooth over low-rank matrices. To the best of our knowledge, ScaledGD is the first algorithm that provably has such properties over a wide range of low-rank matrix estimation tasks.
• Abstract（参考訳）: 低ランク行列推定は、信号処理、機械学習、画像科学に多くの応用を見出す標準的な問題である。 実際に一般的なアプローチは、行列を2つのコンパクトな低ランク因子に分解し、勾配降下や交互化最小化のような単純な反復法によってこれらの因子を直接最適化することである。 非凸性にもかかわらず、近年の文献では、これらの単純なヒューリスティックは、興味を持つ問題の増加のために適切に初期化されると線形収束を達成することが示されている。 勾配勾配の収束速度は、低ランク行列の条件数に線形に依存するが、最小化を交互に行う点当たりのコストは、大きな行列に対してしばしば禁止される。 本研究の目的は,プリコンディショナーが適応的かつ反復的であり,計算オーバーヘッドが最小限であるような,事前条件付きあるいは対角スケールの勾配勾配勾配とみなすことのできる,スケールドグラディエント・ディフレクション (Scaled Gradient Descent,ScaledGD) と呼ばれるアルゴリズムの競争的アプローチを構築することである。 低ランク行列センシング, 頑健な主成分分析, および行列完備化のための調整された変種を用いて, ScaledGD は勾配勾配の低着氷コストを維持しつつ, 交互最小化のような低ランク行列の条件数に依存しない速度で線形収束することを示した。 また, 本解析は, 低ランク行列上で強く凸かつ滑らかに制限される一般損失関数にも適用できる。 我々の知る限りでは、ScaledGDは、幅広い低ランク行列推定タスクに対して確実にそのような特性を持つ最初のアルゴリズムである。

関連論文リスト

• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
  低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。 低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。 簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:06:41Z)
• Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization [48.65416821017865]
  この章では、スケールドグラデーション(ScaledGD)と呼ばれる新しいアルゴリズムアプローチを紹介します。 低ランク物体の条件数に依存しない定数速度で直線的に収束する。 様々なタスクに対して、勾配降下の低い摂動コストを維持できる。
  論文  参考訳（メタデータ） (2023-10-09T21:16:57Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex Regularizers [0.0]
  本稿では,低ランク行列やスパースベクトルをある種の測定値から回収しようとする大問題について考察する。 凸偏差推定器に基づく手法は、ランクや空間の偏りに悩まされているが、非正則化器を用いる。 本稿では,このような問題に適用した近似交互バイアス降下アルゴリズムの新たな解析法を提案する。
  論文  参考訳（メタデータ） (2021-09-26T22:09:42Z)
• Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent [22.851500417035947]
  因数分解に基づく勾配降下は、因数分解行列の完備化を解くためのスケーラブルで効率的なアルゴリズムである。 勾配勾配降下は, 地球自然問題の解を推定するために, 高速収束を楽しむことを示す。
  論文  参考訳（メタデータ） (2021-02-04T03:41:54Z)
• Beyond Procrustes: Balancing-Free Gradient Descent for Asymmetric Low-Rank Matrix Sensing [36.96922859748537]
  低ランク行列推定は、科学と工学のさまざまなアプリケーションで中心的な役割を果たします。 既存のアプローチは、2つの行列因子のスケールのバランスをとるために計量正規化項を加えることに頼っている。 本論文では,低ランク行列の線形測定値の少ない値から回復する性能の理論的正当化について述べる。
  論文  参考訳（メタデータ） (2021-01-13T15:03:52Z)
• Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method [47.80060761046752]
  ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。 この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。 RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。 本稿では、近年のローワークの動機付けについて述べる。
  論文  参考訳（メタデータ） (2020-08-18T04:46:22Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。