論文の概要: Algorithmic Regularization in Model-free Overparametrized Asymmetric Matrix Factorization

• arxiv url: http://arxiv.org/abs/2203.02839v1
• Date: Sun, 6 Mar 2022 00:07:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 15:14:07.386975
• Title: Algorithmic Regularization in Model-free Overparametrized Asymmetric Matrix Factorization
• Title（参考訳）: モデル自由な非対称行列分解におけるアルゴリズム正規化
• Authors: Liwei Jiang, Yudong Chen, Lijun Ding
• Abstract要約: 我々は、任意の過パラメータ化を持つ自然な非定式化の下で、非対称な分解問題を考察する。 観測された行列に対して最高の低ランク近似を生成する。
• 参考スコア（独自算出の注目度）: 16.325663190517773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the asymmetric matrix factorization problem under a natural nonconvex formulation with arbitrary overparamatrization. We consider the model-free setting with no further assumption on the rank or singular values of the observed matrix, where the global optima provably overfit. We show that vanilla gradient descent with small random initialization and early stopping produces the best low-rank approximation of the observed matrix, without any additional regularization. We provide a sharp analysis on relationship between the iteration complexity, initialization size, stepsize and final error. In particular, our complexity bound is almost dimension-free and depends logarithmically on the final error, and our results have lenient requirements on the stepsize and initialization. Our bounds improve upon existing work and show good agreement with numerical experiments.
• Abstract（参考訳）: 任意の過パラメータ化を伴う自然な非凸定式化の下で、非対称行列分解問題を研究する。 我々は、観測された行列の階数や特異値についてこれ以上仮定せずにモデルなしの設定を考える。 ランダムな初期化と初期停止を伴うバニラ勾配降下は、追加の正規化を伴わずに観測行列の最も低いランク近似を生成する。 イテレーションの複雑さ、初期化サイズ、ステップサイズ、最終的なエラーの関係を鋭く分析します。 特に、我々の複雑性境界はほぼ次元自由であり、最終誤差に対数的に依存し、その結果はステップ化と初期化に寛大な要件を持つ。 我々の限界は既存の作業を改善し、数値実験とよく一致している。

関連論文リスト

• A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
  そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。 提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
  論文  参考訳（メタデータ） (2024-09-07T06:37:23Z)
• Symmetric Matrix Completion with ReLU Sampling [15.095194065320987]
  エントリー依存サンプリングによる対称正半定値低ランク行列補完(MC)の問題について検討する。 特に、静止点のみを観測する修正線形単位(ReLU)サンプリングについて検討する。
  論文  参考訳（メタデータ） (2024-06-09T15:14:53Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Optimal Algorithms for Stochastic Complementary Composite Minimization [55.26935605535377]
  統計学と機械学習における正規化技術に触発され,補完的な複合化の最小化について検討した。 予測と高い確率で、新しい過剰なリスク境界を提供する。 我々のアルゴリズムはほぼ最適であり、このクラスの問題に対して、新しいより低い複雑性境界によって証明する。
  論文  参考訳（メタデータ） (2022-11-03T12:40:24Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent [22.851500417035947]
  因数分解に基づく勾配降下は、因数分解行列の完備化を解くためのスケーラブルで効率的なアルゴリズムである。 勾配勾配降下は, 地球自然問題の解を推定するために, 高速収束を楽しむことを示す。
  論文  参考訳（メタデータ） (2021-02-04T03:41:54Z)
• Beyond Procrustes: Balancing-Free Gradient Descent for Asymmetric Low-Rank Matrix Sensing [36.96922859748537]
  低ランク行列推定は、科学と工学のさまざまなアプリケーションで中心的な役割を果たします。 既存のアプローチは、2つの行列因子のスケールのバランスをとるために計量正規化項を加えることに頼っている。 本論文では,低ランク行列の線形測定値の少ない値から回復する性能の理論的正当化について述べる。
  論文  参考訳（メタデータ） (2021-01-13T15:03:52Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Nonconvex Matrix Completion with Linearly Parameterized Factors [10.163102766021373]
  パラメトリック因子化は、部分空間や完了シミュレーションを含む重要な例を示す。 また, 統一的非制約行列最適化法の有効性について述べる。
  論文  参考訳（メタデータ） (2020-03-29T22:40:47Z)
• Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion [101.83262280224729]
  我々は、原子核ノルム正規化行列補完に対する相対誤差を開発する。 未知行列の最適低ランク近似を回復するための相対上界を導出する。
  論文  参考訳（メタデータ） (2015-04-26T13:12:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。