論文の概要: Global Convergence of Four-Layer Matrix Factorization under Random Initialization

• arxiv url: http://arxiv.org/abs/2511.09925v2
• Date: Wed, 19 Nov 2025 15:50:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 13:41:21.067737
• Title: Global Convergence of Four-Layer Matrix Factorization under Random Initialization
• Title（参考訳）: ランダム初期化下における4層行列因子のグローバル収束
• Authors: Minrui Luo, Weihang Xu, Xiang Gao, Maryam Fazel, Simon Shaolei Du,
• Abstract要約: 4層行列因数分解におけるランダムな勾配降下に対する大域収束保証を示す。 我々は従来の理論を拡張し、層重みの固有値の変化を特徴づける。
• 参考スコア（独自算出の注目度）: 34.17675435768947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient descent dynamics on the deep matrix factorization problem is extensively studied as a simplified theoretical model for deep neural networks. Although the convergence theory for two-layer matrix factorization is well-established, no global convergence guarantee for general deep matrix factorization under random initialization has been established to date. To address this gap, we provide a polynomial-time global convergence guarantee for randomly initialized gradient descent on four-layer matrix factorization, given certain conditions on the target matrix and a standard balanced regularization term. Our analysis employs new techniques to show saddle-avoidance properties of gradient decent dynamics, and extends previous theories to characterize the change in eigenvalues of layer weights.
• Abstract（参考訳）: ディープ行列分解問題における勾配降下ダイナミクスは、ディープニューラルネットワークの簡易理論モデルとして広く研究されている。 二層行列因数分解の収束理論は確立されているが、一般の深層行列因数分解に対する大域収束保証は確立されていない。 このギャップに対処するために、ターゲット行列と標準均衡正規化項の条件を条件として、4層行列分解に対するランダム初期化勾配勾配の多項式時間大域収束保証を提供する。 本分析では, グラデーションリーズドダイナミックスのサドル回避特性を示す新しい手法を用いて, 従来の理論を拡張し, 層重みの固有値の変化を特徴づける。

関連論文リスト

• Understanding Incremental Learning with Closed-form Solution to Gradient Flow on Overparamerterized Matrix Factorization [44.278609916888065]
  勾配流は、時間とともに等級を減少させながら、その特異値を逐次学習することで、ターゲット行列を学習する。 対象行列の異なる成分の学習に対応する動的要素間の時間スケールの分離から漸進的学習が出現することを示す。
  論文  参考訳（メタデータ） (2025-08-28T01:36:42Z)
• Universal Sequence Preconditioning [15.021303911702121]
  逐次予測におけるプレコンディショニングの問題について検討する。 対象シーケンスを畳むと、隠れた遷移行列のレンズを適用することが示される。 我々は,この手法が予測アルゴリズムの後悔を軽減することを証明した。
  論文  参考訳（メタデータ） (2025-02-10T15:10:06Z)
• High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
  本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
  論文  参考訳（メタデータ） (2024-06-05T12:03:27Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Implicit Balancing and Regularization: Generalization and Convergence Guarantees for Overparameterized Asymmetric Matrix Sensing [28.77440901439686]
  最近の一連の論文は、非ランダムな正準決定(PSD)行列センシング問題に対して、この役割を一般化し始めている。 本稿では,小さなランダムな測定から得られる勾配降下の軌跡が,どちらも地球規模で良好である解へと移動することを示す。
  論文  参考訳（メタデータ） (2023-03-24T19:05:52Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent [22.851500417035947]
  因数分解に基づく勾配降下は、因数分解行列の完備化を解くためのスケーラブルで効率的なアルゴリズムである。 勾配勾配降下は, 地球自然問題の解を推定するために, 高速収束を楽しむことを示す。
  論文  参考訳（メタデータ） (2021-02-04T03:41:54Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion [101.83262280224729]
  我々は、原子核ノルム正規化行列補完に対する相対誤差を開発する。 未知行列の最適低ランク近似を回復するための相対上界を導出する。
  論文  参考訳（メタデータ） (2015-04-26T13:12:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。