論文の概要: Understanding Incremental Learning with Closed-form Solution to Gradient Flow on Overparamerterized Matrix Factorization

• arxiv url: http://arxiv.org/abs/2508.20344v1
• Date: Thu, 28 Aug 2025 01:36:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:01.887305
• Title: Understanding Incremental Learning with Closed-form Solution to Gradient Flow on Overparamerterized Matrix Factorization
• Title（参考訳）: 過度に並列化された行列因子化における勾配流れに対する閉形式解によるインクリメンタルラーニングの理解
• Authors: Hancheng Min, René Vidal,
• Abstract要約: 勾配流は、時間とともに等級を減少させながら、その特異値を逐次学習することで、ターゲット行列を学習する。 対象行列の異なる成分の学習に対応する動的要素間の時間スケールの分離から漸進的学習が出現することを示す。
• 参考スコア（独自算出の注目度）: 44.278609916888065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many theoretical studies on neural networks attribute their excellent empirical performance to the implicit bias or regularization induced by first-order optimization algorithms when training networks under certain initialization assumptions. One example is the incremental learning phenomenon in gradient flow (GF) on an overparamerterized matrix factorization problem with small initialization: GF learns a target matrix by sequentially learning its singular values in decreasing order of magnitude over time. In this paper, we develop a quantitative understanding of this incremental learning behavior for GF on the symmetric matrix factorization problem, using its closed-form solution obtained by solving a Riccati-like matrix differential equation. We show that incremental learning emerges from some time-scale separation among dynamics corresponding to learning different components in the target matrix. By decreasing the initialization scale, these time-scale separations become more prominent, allowing one to find low-rank approximations of the target matrix. Lastly, we discuss the possible avenues for extending this analysis to asymmetric matrix factorization problems.
• Abstract（参考訳）: ニューラルネットワークに関する多くの理論的研究は、その優れた経験的性能は、ある初期化仮定の下でネットワークをトレーニングする際、一階最適化アルゴリズムによって誘導される暗黙のバイアスまたは正規化に起因している。 1つの例は、小さな初期化を伴う過並列化行列分解問題における勾配流(GF)の漸進的学習現象である: GFは、その特異値を時間の経過とともに減少する順序で逐次学習することによって、ターゲット行列を学習する。 本稿では,リカッチ型行列微分方程式を解くことで得られる閉形式解を用いて,GFのこの漸進的学習挙動を,対称行列分解問題上で定量的に理解する。 対象行列の異なる成分の学習に対応する動的要素間の時間スケールの分離から漸進的学習が出現することを示す。 初期化スケールを小さくすることで、これらの時間スケールの分離がより顕著になり、ターゲット行列の低ランク近似を見つけることができる。 最後に、この分析を非対称行列分解問題に拡張する可能性について論じる。

関連論文リスト

• Back to Square Roots: An Optimal Bound on the Matrix Factorization Error for Multi-Epoch Differentially Private SGD [21.92418810749819]
  逆相関行列上にバンド構造を付加した新しい明示的因数分解法,Banded Inverse Square Root (BISR) を導入する。 BISRは、上界と下界をマッチングすることで、アナル最適誤差を達成する。
  論文  参考訳（メタデータ） (2025-05-17T19:41:44Z)
• Implicit Regularization Makes Overparameterized Asymmetric Matrix Sensing Robust to Perturbations [0.3465040588448529]
  偏微分勾配勾配は摂動に対して非常に頑健であることが判明した。 この等価な定式化は作業が容易であるだけでなく、よりシャープなサンプルや時間的複雑さにつながることが分かっています。
  論文  参考訳（メタデータ） (2023-09-04T20:23:35Z)
• The Decimation Scheme for Symmetric Matrix Factorization [0.0]
  行列分解(Matrix factorization)は、その広範囲な応用により重要になった推論問題である。 我々はこの広範囲なランク問題について研究し、最近導入した代替の「決定」手順を拡張した。 本稿では,デシメーションを実装し,行列分解を行う基底状態探索に基づく簡単なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:53:45Z)
• Automatic Hyperparameter Tuning in Sparse Matrix Factorization [0.0]
  スパース行列における正規化係数のゼロ点を評価することで,新しいパラメータチューニング法を提案する。 提案手法は, 大域的主成分分析アルゴリズムとの比較により, 地中スパルス行列再構成における優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-17T10:40:17Z)
• Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing [74.2952487120137]
  GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。 本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
  論文  参考訳（メタデータ） (2023-01-27T02:30:51Z)
• Unitary Approximate Message Passing for Matrix Factorization [90.84906091118084]
  行列分解 (MF) を一定の制約で考慮し, 様々な分野の応用を見いだす。 我々は,効率の良いメッセージパッシング実装であるUAMPMFを用いて,MFに対するベイズ的アプローチを開発する。 UAMPMFは、回復精度、ロバスト性、計算複雑性の観点から、最先端のアルゴリズムを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2022-07-31T12:09:32Z)
• Learning a Compressive Sensing Matrix with Structural Constraints via Maximum Mean Discrepancy Optimization [17.104994036477308]
  本稿では,圧縮センシング関連回復問題に対する測定行列を得るための学習に基づくアルゴリズムを提案する。 ニューラルネットワーク関連のトピックにおけるこのようなメトリクスの最近の成功は、機械学習に基づく問題の解決策を動機付けている。
  論文  参考訳（メタデータ） (2021-10-14T08:35:54Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。