Fugu-MT 論文翻訳(概要): Implicit Regularization in Perturbed Deep Matrix Factorization: Spectral Conditions and Stability

論文の概要: Implicit Regularization in Perturbed Deep Matrix Factorization: Spectral Conditions and Stability

arxiv url: http://arxiv.org/abs/2605.28613v1
Date: Wed, 27 May 2026 15:26:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-28 17:38:56.170866
Title: Implicit Regularization in Perturbed Deep Matrix Factorization: Spectral Conditions and Stability
Title（参考訳）: 摂動型ディープマトリックス分解におけるインプシット規則化:スペクトル条件と安定性
Authors: Jingzhe Wang, Hung-Hsu Chou,
Abstract要約: 摂動行列係数化における低ランク暗黙正則化の安定性について検討した。摂動下では低ランク位相が持続し,摂動サイズに明示的に依存することを示す。
参考スコア（独自算出の注目度）: 1.3320917259299652
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper studies the stability of low-rank implicit regularization in perturbed deep matrix factorization, where the target matrix is corrupted by a noise matrix. We first derive sufficient spectral conditions under which gradient descent exhibits a low-rank phase in the noiseless setting. These conditions show how the target spectrum, initialization, and step size jointly determine the existence of a nonempty low-rank interval. We then analyze the perturbed gradient descent dynamics, proving convergence guarantees and quantifying how the perturbation affects iteration complexity and eigenvalue recovery. Finally, we show that the low-rank phase persists under perturbation, with explicit dependence on the perturbation size. Numerical experiments support the theoretical findings.
Abstract（参考訳）: 本稿では,雑音行列によってターゲット行列が劣化する摂動行列分解における低ランク暗黙正則化の安定性について検討する。まず、雑音のない環境で勾配降下が低ランク位相を示す十分なスペクトル条件を導出する。これらの条件は、ターゲットスペクトル、初期化、ステップサイズが、空でない低ランク区間の存在を共同で決定する方法を示している。次に、摂動勾配勾配勾配のダイナミクスを分析し、収束保証を証明し、摂動が繰り返しの複雑さや固有値の回復にどう影響するかを定量化する。最後に, 摂動条件下では低ランク位相が持続し, 摂動サイズに明示的に依存することを示す。数値実験は理論的な結果を支持する。

関連論文リスト

Dimension-Uniform Discretization Analysis of Preconditioned Annealed Langevin Dynamics for Multimodal Gaussian Mixtures [10.631439631816166]
離散化はそのような誤差の典型的な源であり、適切なスペクトル崩壊を伴うプレコンディショニングは、それらの蓄積を制御する1つの方法である。本研究では, ガウス混合体に適用したプレコンディションアニールランゲヴィンダイナミクス(ALD)について検討する。
論文参考訳（メタデータ） (2026-05-15T15:18:32Z)
Spectral-Transport Stability and Benign Overfitting in Interpolating Learning [0.0]
統計的学習の補間体制における一般化のための理論的枠組みを開発する。我々は、有限サンプルリスク境界を証明し、鋭い良性オーバーフィッティング指数を確立し、スペクトル崩壊下での明示的な位相遷移速度を導出する。このフレームワークはまた、最小スペクトル輸送エネルギーの補間解をどのように選択できるかを示すことによって暗黙の正則化を明確化する。
論文参考訳（メタデータ） (2026-04-09T15:19:00Z)
On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes [15.63629978994481]
我々はこの勾配カスケード設定に関する最初の包括的な理論的解析を提示する。摂動が勾配収束順序を悪化させない条件を特定する。
論文参考訳（メタデータ） (2026-02-24T07:47:15Z)
The Homogeneity Trap: Spectral Collapse in Doubly-Stochastic Deep Networks [1.7523718031184992]
構造保存深層構造に固有の臨界スペクトル劣化現象を同定する。最大エントロピーバイアスは混合作用素を均一なバリセンターへ誘導し、従属特異値を抑えることを示す。ネットワークの有効深度にリンクするスペクトル境界を導出し、高エントロピー制約が浅層受容場への特徴変換を制限することを示す。
論文参考訳（メタデータ） (2026-01-05T13:09:42Z)
Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文参考訳（メタデータ） (2025-10-22T19:06:39Z)
On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文参考訳（メタデータ） (2024-02-20T16:01:42Z)
Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization [48.65416821017865]
この章では、スケールドグラデーション(ScaledGD)と呼ばれる新しいアルゴリズムアプローチを紹介します。低ランク物体の条件数に依存しない定数速度で直線的に収束する。様々なタスクに対して、勾配降下の低い摂動コストを維持できる。
論文参考訳（メタデータ） (2023-10-09T21:16:57Z)
Robust Matrix Completion with Heavy-tailed Noise [0.5837881923712392]
本稿では,重み付き潜在的非対称雑音の存在下での低ランク行列の完全性について検討する。本稿では,大規模かつ非対称な誤りに対して頑健な重み付き雑音に適応するハマー損失を適応的に適用する。誤差の2番目のモーメント条件下では、ユークリッド誤差は最小値の統計的推定誤差に到達するまで幾何的に早く落ちることが証明される。
論文参考訳（メタデータ） (2022-06-09T04:48:48Z)
Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文参考訳（メタデータ） (2022-06-08T21:32:50Z)
Beyond Procrustes: Balancing-Free Gradient Descent for Asymmetric Low-Rank Matrix Sensing [36.96922859748537]
低ランク行列推定は、科学と工学のさまざまなアプリケーションで中心的な役割を果たします。既存のアプローチは、2つの行列因子のスケールのバランスをとるために計量正規化項を加えることに頼っている。本論文では,低ランク行列の線形測定値の少ない値から回復する性能の理論的正当化について述べる。
論文参考訳（メタデータ） (2021-01-13T15:03:52Z)
Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
論文参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。