論文の概要: Implicit Regularization Makes Overparameterized Asymmetric Matrix Sensing Robust to Perturbations

• arxiv url: http://arxiv.org/abs/2309.01796v2
• Date: Fri, 22 Aug 2025 12:21:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:35.982532
• Title: Implicit Regularization Makes Overparameterized Asymmetric Matrix Sensing Robust to Perturbations
• Title（参考訳）: 過度にパラメータ化された非対称行列が摂動にロバストを感知する不規則な正規化
• Authors: Johan S. Wind,
• Abstract要約: 偏微分勾配勾配は摂動に対して非常に頑健であることが判明した。 この等価な定式化は作業が容易であるだけでなく、よりシャープなサンプルや時間的複雑さにつながることが分かっています。
• 参考スコア（独自算出の注目度）: 0.3465040588448529
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several key questions remain unanswered regarding overparameterized learning models. It is unclear how (stochastic) gradient descent finds solutions that generalize well, and in particular the role of small random initializations. Matrix sensing, which is the problem of reconstructing a low-rank matrix from a few linear measurements, has become a standard prototypical setting to study these phenomena. Previous works have shown that matrix sensing can be solved by factorized gradient descent, provided the random initialization is extremely small. In this paper, we find that factorized gradient descent is highly robust to certain perturbations. This lets us use a perturbation term to capture both the effects of imperfect measurements, discretization by gradient descent, and other noise, resulting in a general formulation which we call \textit{perturbed gradient flow}. We find that not only is this equivalent formulation easier to work with, but it leads to sharper sample and time complexities than previous work, handles moderately small initializations, and the results are naturally robust to perturbations such as noisy measurements or changing measurement matrices. Finally, we also analyze mini-batch stochastic gradient descent using the formulation, where we find improved sample complexity.
• Abstract（参考訳）: 過パラメータ学習モデルに関して、いくつかの重要な疑問がまだ答えられていない。 (確率的な)勾配降下が一般化する解をどのように見つけ、特に小さなランダムな初期化の役割は不明確である。 いくつかの線形測定から低ランク行列を再構成する問題であるマトリックスセンシングは、これらの現象を研究するための標準的な原型設定となっている。 従来の研究では、ランダム初期化が極端に小さいため、行列センシングは分解勾配降下によって解けることが示されている。 本稿では, 偏微分勾配勾配は摂動に対して非常に頑健であることを示す。 これにより、摂動項を用いて不完全測定、勾配降下による離散化、その他の雑音の影響を捉えることができ、その結果、一般に「textit{perturbed gradient flow}」と呼ばれる定式化がもたらされる。 この等価な定式化は、作業が容易であるだけでなく、前の作業よりもシャープなサンプルや時間の複雑さをもたらし、適度に小さな初期化を処理し、結果がノイズ測定や測定行列の変化といった摂動に対して自然に堅牢であることがわかった。 最後に, 定式化法を用いてミニバッチ確率勾配勾配の解析を行い, サンプルの複雑さを改良した。

関連論文リスト

• Preconditioned Gradient Descent for Over-Parameterized Nonconvex Matrix Factorization [19.32160757444549]
  非特定行列分解の実例では、真の解体$のランクはしばしば未知であるため、モデルのランク子$は$r>rstar$として特異である。 本稿では,行列センサの非行列因数分解のための安価なサブプロセッサを提案し,非依存の場合においても収束係数を線形に復元する。 我々の数値実験により、PrecGD は他の変種非行列分解の収束を回復する上でも同様にうまく機能することがわかった。
  論文  参考訳（メタデータ） (2025-04-13T20:06:49Z)
• Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models [76.52307406752556]
  ランダムリゾルダーの2点関数に対する新しい決定論的等価性を導出する。 勾配勾配を有する多種多様な高次元学習線形モデルの性能を統一的に導出する。
  論文  参考訳（メタデータ） (2025-02-07T16:45:40Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
  我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
  論文  参考訳（メタデータ） (2023-05-25T11:45:46Z)
• Implicit Balancing and Regularization: Generalization and Convergence Guarantees for Overparameterized Asymmetric Matrix Sensing [28.77440901439686]
  最近の一連の論文は、非ランダムな正準決定(PSD)行列センシング問題に対して、この役割を一般化し始めている。 本稿では,小さなランダムな測定から得られる勾配降下の軌跡が,どちらも地球規模で良好である解へと移動することを示す。
  論文  参考訳（メタデータ） (2023-03-24T19:05:52Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent [22.851500417035947]
  因数分解に基づく勾配降下は、因数分解行列の完備化を解くためのスケーラブルで効率的なアルゴリズムである。 勾配勾配降下は, 地球自然問題の解を推定するために, 高速収束を楽しむことを示す。
  論文  参考訳（メタデータ） (2021-02-04T03:41:54Z)
• Beyond Procrustes: Balancing-Free Gradient Descent for Asymmetric Low-Rank Matrix Sensing [36.96922859748537]
  低ランク行列推定は、科学と工学のさまざまなアプリケーションで中心的な役割を果たします。 既存のアプローチは、2つの行列因子のスケールのバランスをとるために計量正規化項を加えることに頼っている。 本論文では,低ランク行列の線形測定値の少ない値から回復する性能の理論的正当化について述べる。
  論文  参考訳（メタデータ） (2021-01-13T15:03:52Z)
• Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method [47.80060761046752]
  ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。 この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。 RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。 本稿では、近年のローワークの動機付けについて述べる。
  論文  参考訳（メタデータ） (2020-08-18T04:46:22Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent [34.0533596121548]
  低ランク行列推定は凸問題を収束させ、信号処理、機械学習、画像科学に多くの応用を見出す。 低ランク行列の個数の観点から,ScaledGDが最良となることを示す。 我々の分析は、低ランク勾配降下に類似した一般損失にも適用できる。
  論文  参考訳（メタデータ） (2020-05-18T17:17:16Z)
• Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
  最小二乗問題に対する反復スケッチの性能について検討する。 本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。 これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
  論文  参考訳（メタデータ） (2020-02-03T16:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。