論文の概要: Understanding Forgetting in Continual Learning with Linear Regression

• arxiv url: http://arxiv.org/abs/2405.17583v1
• Date: Mon, 27 May 2024 18:33:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 23:31:09.175635
• Title: Understanding Forgetting in Continual Learning with Linear Regression
• Title（参考訳）: 線形回帰による連続学習における予測理解
• Authors: Meng Ding, Kaiyi Ji, Di Wang, Jinhui Xu,
• Abstract要約: 連続的な学習は、複数のタスクを逐次学習することに焦点を当てており、近年大きな注目を集めている。 線形回帰モデルにおいて, 線形回帰モデルをグラディエント・ディッセンス(Gradient Descent)を用いて, 忘れることの一般的な理論的解析を行う。 十分なデータサイズを考慮に入れれば、集団データ共分散行列の固有値が大きいタスクが後で訓練されるようなシーケンス内のタスクの配置は、忘れが増す傾向にあることを実証する。
• 参考スコア（独自算出の注目度）: 21.8755265936716
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Continual learning, focused on sequentially learning multiple tasks, has gained significant attention recently. Despite the tremendous progress made in the past, the theoretical understanding, especially factors contributing to catastrophic forgetting, remains relatively unexplored. In this paper, we provide a general theoretical analysis of forgetting in the linear regression model via Stochastic Gradient Descent (SGD) applicable to both underparameterized and overparameterized regimes. Our theoretical framework reveals some interesting insights into the intricate relationship between task sequence and algorithmic parameters, an aspect not fully captured in previous studies due to their restrictive assumptions. Specifically, we demonstrate that, given a sufficiently large data size, the arrangement of tasks in a sequence, where tasks with larger eigenvalues in their population data covariance matrices are trained later, tends to result in increased forgetting. Additionally, our findings highlight that an appropriate choice of step size will help mitigate forgetting in both underparameterized and overparameterized settings. To validate our theoretical analysis, we conducted simulation experiments on both linear regression models and Deep Neural Networks (DNNs). Results from these simulations substantiate our theoretical findings.
• Abstract（参考訳）: 連続的な学習は、複数のタスクを逐次学習することに焦点を当てており、近年大きな注目を集めている。 過去に大きな進歩があったにも拘わらず、理論的理解、特に破滅的な忘れ物に寄与する要因は、いまだに未解明のままである。 本稿では,線形回帰モデルにおいて,SGD(Stochastic Gradient Descent)を用いて,過度なパラメータ化と過度なパラメータ化の両方に適用可能な線形回帰モデルについて,一般的な理論的解析を行う。 我々の理論的枠組みは、タスクシーケンスとアルゴリズムパラメータの複雑な関係に関する興味深い洞察を明らかにしている。 具体的には、十分なデータサイズを前提として、集団データ共分散行列の固有値が大きいタスクが後で訓練されるようなシーケンス内のタスクのアレンジメントが、より多く忘れられる傾向にあることを示す。 さらに,ステップサイズの適切な選択は,過度パラメータ設定と過度パラメータ設定の両方において,忘れを軽減してくれます。 線形回帰モデルとディープニューラルネットワーク(DNN)のシミュレーション実験を行った。 これらのシミュレーションの結果は、我々の理論的な知見を裏付けるものである。

関連論文リスト

• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing [74.2952487120137]
  GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。 本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
  論文  参考訳（メタデータ） (2023-01-27T02:30:51Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Analysis of Catastrophic Forgetting for Random Orthogonal Transformation Tasks in the Overparameterized Regime [9.184987303791292]
  可変MNIST画像分類タスクでは,バニラ勾配降下により訓練された多層パーセプトロンの性能を向上させることができることを示す。 定性的に類似した2タスク線形回帰問題を研究することによって、この効果を理論的に説明する。 モデルが追加の正規化なしで連続的に2つのタスクで訓練された場合、最初のタスクのリスクゲインは小さくなることを示す。
  論文  参考訳（メタデータ） (2022-06-01T18:04:33Z)
• A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of Overparameterized Machine Learning [37.01683478234978]
  機械学習(ML)の急速な進歩は、この分野の長年のドグマに挑戦する科学的な疑問を数多く提起している。 最も重要なライドルの1つは、パラメータ化されたモデルの優れた経験的一般化である。
  論文  参考訳（メタデータ） (2021-09-06T10:48:40Z)
• A Theoretical Analysis of Fine-tuning with Linear Teachers [31.849269592822296]
  ファインチューニングはディープラーニングにおいて一般的なプラクティスであり、比較的少ないトレーニングデータを使用して下流タスクで優れた結果を得ることができる。 微調整の成功は、ソースタスクと対象タスクの類似性に依存するが、測定は自明ではない。
  論文  参考訳（メタデータ） (2021-07-04T14:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。