論文の概要: Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle

• arxiv url: http://arxiv.org/abs/2008.13777v2
• Date: Mon, 15 Nov 2021 19:38:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 07:00:38.150918
• Title: Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle
• Title（参考訳）: 非二乗損失による低ランク行列回復:射影勾配法と正則射影オラクル
• Authors: Lijun Ding, Yuqian Zhang, Yudong Chen
• Abstract要約: 低ランク行列回復の既往の結果は2次損失に大きく影響した。 非二次的損失を伴う証明可能な低ランク回復における重要な要素が正規性予測であることを示す。
• 参考スコア（独自算出の注目度）: 23.84884127542249
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing results for low-rank matrix recovery largely focus on quadratic loss, which enjoys favorable properties such as restricted strong convexity/smoothness (RSC/RSM) and well conditioning over all low rank matrices. However, many interesting problems involve more general, non-quadratic losses, which do not satisfy such properties. For these problems, standard nonconvex approaches such as rank-constrained projected gradient descent (a.k.a. iterative hard thresholding) and Burer-Monteiro factorization could have poor empirical performance, and there is no satisfactory theory guaranteeing global and fast convergence for these algorithms. In this paper, we show that a critical component in provable low-rank recovery with non-quadratic loss is a regularity projection oracle. This oracle restricts iterates to low-rank matrices within an appropriate bounded set, over which the loss function is well behaved and satisfies a set of approximate RSC/RSM conditions. Accordingly, we analyze an (averaged) projected gradient method equipped with such an oracle, and prove that it converges globally and linearly. Our results apply to a wide range of non-quadratic low-rank estimation problems including one bit matrix sensing/completion, individualized rank aggregation, and more broadly generalized linear models with rank constraints.
• Abstract（参考訳）: 低位行列回復の既往の結果は主に二次的損失に焦点が当てられ、これは強い凸性/平滑性(RSC/RSM)の制限や全ての低位行列に対する良質な条件付けなど、良好な性質を享受する。 しかし、多くの興味深い問題は、そのような性質を満たさないより一般的な非二次的損失を含む。 これらの問題に対して、階数制約付き射影勾配降下(すなわち、反復的硬度閾値付け)やブラー・モンテイロ分解のような標準の非凸法は経験的性能が劣る可能性があり、これらのアルゴリズムのグローバルおよび高速収束を保証する十分な理論は存在しない。 本稿では,非クアドラル損失を伴う低ランクリカバリを実現する上で重要な要素は,オラクルの正規性であることを示す。 このオラクルは、損失関数がよく振る舞われ、近似rsc/rsm条件のセットを満たす適切な有界集合内の低ランク行列に反復を制限している。 そこで我々は,そのようなオラクルを備えた(平均的な)射影勾配法を解析し,世界規模で線形に収束することを示す。 本研究は,1ビットマトリクスセンシング/コンプリート,個別化されたランクアグリゲーション,より広範なランク制約付き一般化線形モデルを含む,非二次的低ランク推定問題に適用する。

関連論文リスト

• Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization [48.65416821017865]
  この章では、スケールドグラデーション(ScaledGD)と呼ばれる新しいアルゴリズムアプローチを紹介します。 低ランク物体の条件数に依存しない定数速度で直線的に収束する。 様々なタスクに対して、勾配降下の低い摂動コストを維持できる。
  論文  参考訳（メタデータ） (2023-10-09T21:16:57Z)
• A Generalized Alternating Method for Bilevel Learning under the Polyak-{\L}ojasiewicz Condition [63.66516306205932]
  バイレベル最適化は、その新興機械学習分野への応用により、最近、関心を取り戻している。 最近の結果は、単純な反復に基づくイテレーションは、低レベルな目標の凸に起因する利害と一致することを示しています。
  論文  参考訳（メタデータ） (2023-06-04T17:54:11Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Global Convergence of Sub-gradient Method for Robust Matrix Recovery: Small Initialization, Noisy Measurements, and Over-parameterization [4.7464518249313805]
  サブグラディエント法(Sub-gradient method, SubGM)は, 限られた測定値から低ランク行列を復元するために用いられる。 我々は、SubGMが任意の大きさの高密度ノイズ値の下でも、真の解に収束することを示す。
  論文  参考訳（メタデータ） (2022-02-17T17:50:04Z)
• Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex Regularizers [0.0]
  本稿では,低ランク行列やスパースベクトルをある種の測定値から回収しようとする大問題について考察する。 凸偏差推定器に基づく手法は、ランクや空間の偏りに悩まされているが、非正則化器を用いる。 本稿では,このような問題に適用した近似交互バイアス降下アルゴリズムの新たな解析法を提案する。
  論文  参考訳（メタデータ） (2021-09-26T22:09:42Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Low-Rank Matrix Recovery with Scaled Subgradient Methods: Fast and Robust Convergence Without the Condition Number [34.0533596121548]
  データ科学における多くの問題は、高度に不完全で、時には腐敗した観測から低いランクを推定するものとして扱われる。 1つの一般的なアプローチは行列分解に頼り、低ランク行列因子は滑らかな損失に対して一階法によって最適化される。
  論文  参考訳（メタデータ） (2020-10-26T06:21:14Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)
• Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent [34.0533596121548]
  低ランク行列推定は凸問題を収束させ、信号処理、機械学習、画像科学に多くの応用を見出す。 低ランク行列の個数の観点から,ScaledGDが最良となることを示す。 我々の分析は、低ランク勾配降下に類似した一般損失にも適用できる。
  論文  参考訳（メタデータ） (2020-05-18T17:17:16Z)
• On the Convergence of Stochastic Gradient Descent with Low-Rank Projections for Convex Low-Rank Matrix Problems [19.24470467199451]
  本研究では, 凸緩和に有効な凸最適化問題の解法として, SGD (Gradient Descent) の利用を再検討する。 我々は,SGDが低ランク行列回復問題の大規模凸緩和に実際に適用可能であることを示した。
  論文  参考訳（メタデータ） (2020-01-31T06:00:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。