論文の概要: Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing

• arxiv url: http://arxiv.org/abs/2301.11500v1
• Date: Fri, 27 Jan 2023 02:30:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 16:41:07.078506
• Title: Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing
• Title（参考訳）: 勾配降下のインクリメンタル学習を理解する:マトリックスセンシングの細粒度解析
• Authors: Jikai Jin and Zhiyuan Li and Kaifeng Lyu and Simon S. Du and Jason D. Lee
• Abstract要約: GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。 本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
• 参考スコア（独自算出の注目度）: 74.2952487120137
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: It is believed that Gradient Descent (GD) induces an implicit bias towards good generalization in training machine learning models. This paper provides a fine-grained analysis of the dynamics of GD for the matrix sensing problem, whose goal is to recover a low-rank ground-truth matrix from near-isotropic linear measurements. It is shown that GD with small initialization behaves similarly to the greedy low-rank learning heuristics (Li et al., 2020) and follows an incremental learning procedure (Gissin et al., 2019): GD sequentially learns solutions with increasing ranks until it recovers the ground truth matrix. Compared to existing works which only analyze the first learning phase for rank-1 solutions, our result provides characterizations for the whole learning process. Moreover, besides the over-parameterized regime that many prior works focused on, our analysis of the incremental learning procedure also applies to the under-parameterized regime. Finally, we conduct numerical experiments to confirm our theoretical findings.
• Abstract（参考訳）: 勾配降下(gd)は機械学習モデルのトレーニングにおいて、優れた一般化に向けて暗黙のバイアスを引き起こすと考えられている。 本稿では,準等方性線形測定から低位接地面行列を回収することを目的とした,行列センシング問題に対するgdのダイナミクスのきめ細かな解析を行う。 初期化が小さいgdは欲望の低い低ランク学習ヒューリスティックス(li et al., 2020)と同様に振る舞うことが示され、漸進学習手順(gissin et al., 2019)に従う。 rank-1ソリューションの最初の学習フェーズのみを分析する既存の作品と比較して,本研究は学習プロセス全体の特徴付けを提供する。 さらに,多くの先行研究が注目する過度なパラメータ化体制に加えて,段階的な学習手順の分析も過度パラメータ化体制に適用した。 最後に,理論的な結果を確認する数値実験を行った。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Dynamic Decoupling of Placid Terminal Attractor-based Gradient Descent Algorithm [56.06235614890066]
  勾配降下(GD)と勾配降下(SGD)は多くのアプリケーションドメインで広く使われている。 本稿では, 勾配流の異なる段階における終端アトラクタに基づくGDのダイナミクスを慎重に解析する。
  論文  参考訳（メタデータ） (2024-09-10T14:15:56Z)
• Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [3.680127959836384]
  暗黙の勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)よりも優れる。 IGDは線形収束速度で大域的に最適解を収束することを示す。
  論文  参考訳（メタデータ） (2024-07-03T06:10:41Z)
• Understanding Forgetting in Continual Learning with Linear Regression [21.8755265936716]
  連続的な学習は、複数のタスクを逐次学習することに焦点を当てており、近年大きな注目を集めている。 線形回帰モデルにおいて, 線形回帰モデルをグラディエント・ディッセンス(Gradient Descent)を用いて, 忘れることの一般的な理論的解析を行う。 十分なデータサイズを考慮に入れれば、集団データ共分散行列の固有値が大きいタスクが後で訓練されるようなシーケンス内のタスクの配置は、忘れが増す傾向にあることを実証する。
  論文  参考訳（メタデータ） (2024-05-27T18:33:37Z)
• Model-Agnostic Zeroth-Order Policy Optimization for Meta-Learning of Ergodic Linear Quadratic Regulators [13.343937277604892]
  エルゴード線形二次規制器における不確実性と不均一性を扱うためにメタラーニングを用いることの問題点について検討する。 本稿では,不均一だが類似の線形力学系を学習するタスクに適用可能なポリシヘシアンの推定を省略するアルゴリズムを提案する。 メタオブジェクトの勾配の有界性と滑らかさを解析することにより、正確な勾配降下過程の収束結果を提供する。
  論文  参考訳（メタデータ） (2024-05-27T17:26:36Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。