論文の概要: Analysis of Overparameterization in Continual Learning under a Linear Model

• arxiv url: http://arxiv.org/abs/2502.10442v1
• Date: Tue, 11 Feb 2025 00:15:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:17:11.715410
• Title: Analysis of Overparameterization in Continual Learning under a Linear Model
• Title（参考訳）: 線形モデルによる連続学習における過パラメータ化の解析
• Authors: Daniel Goldfarb, Paul Hand,
• Abstract要約: 本研究では,勾配降下の簡単な設定における理論的観点から,連続学習と破滅的忘れについて検討する。 線形回帰モデルの文脈において,パラメータ化のみによって忘れを軽減できることを解析的に実証した。 この研究の一環として、単線型回帰タスクのリスクの漸近的でない境界を確立する。
• 参考スコア（独自算出の注目度）: 5.5165579223151795
• License:
• Abstract: Autonomous machine learning systems that learn many tasks in sequence are prone to the catastrophic forgetting problem. Mathematical theory is needed in order to understand the extent of forgetting during continual learning. As a foundational step towards this goal, we study continual learning and catastrophic forgetting from a theoretical perspective in the simple setting of gradient descent with no explicit algorithmic mechanism to prevent forgetting. In this setting, we analytically demonstrate that overparameterization alone can mitigate forgetting in the context of a linear regression model. We consider a two-task setting motivated by permutation tasks, and show that as the overparameterization ratio becomes sufficiently high, a model trained on both tasks in sequence results in a low-risk estimator for the first task. As part of this work, we establish a non-asymptotic bound of the risk of a single linear regression task, which may be of independent interest to the field of double descent theory.
• Abstract（参考訳）: 連続して多くのタスクを学習する自律機械学習システムは、破滅的な忘れの問題を引き起こす。 連続学習における忘れの程度を理解するためには数学的理論が必要である。 この目標に向けての基礎的なステップとして、我々は、学習の継続と破滅的な忘れ方について、単純な勾配降下の設定における理論的な視点から研究し、忘れ方を防ぐための明示的なアルゴリズム機構を欠いている。 本研究では, 線形回帰モデルを用いて, 過パラメータ化のみを緩和できることを解析的に示す。 我々は、置換タスクによって動機づけられた2タスク設定を検討し、過パラメータ化比が十分に高くなるにつれて、両方のタスクをシーケンスでトレーニングしたモデルが、最初のタスクのリスクを低く見積もる結果となることを示す。 この研究の一環として、単線型回帰タスクのリスクの漸近的でない境界を確立する。

関連論文リスト

• Attention layers provably solve single-location regression [12.355792442566681]
  Transformerのような注意に基づくモデルは様々なタスクにまたがるが、特にトークンの間隔や内部線形構造に関する包括的な理論的理解は欠如している。 本稿では,一列のトークンだけが出力を決定する単一位置回帰タスクを導入し,その位置が線形射影によって検索可能な潜在値であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T13:28:02Z)
• Embedding generalization within the learning dynamics: An approach based-on sample path large deviation theory [0.0]
  本研究では,持続的視点から手法を利用する経験的リスク摂動に基づく学習問題を考察する。 大規模偏差のFreidlin-Wentzell理論に基づく小雑音限界の推定を行う。 また、最適点推定に繋がる変分問題を解く計算アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-04T23:31:35Z)
• Understanding Forgetting in Continual Learning with Linear Regression [21.8755265936716]
  連続的な学習は、複数のタスクを逐次学習することに焦点を当てており、近年大きな注目を集めている。 線形回帰モデルにおいて, 線形回帰モデルをグラディエント・ディッセンス(Gradient Descent)を用いて, 忘れることの一般的な理論的解析を行う。 十分なデータサイズを考慮に入れれば、集団データ共分散行列の固有値が大きいタスクが後で訓練されるようなシーケンス内のタスクの配置は、忘れが増す傾向にあることを実証する。
  論文  参考訳（メタデータ） (2024-05-27T18:33:37Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing [74.2952487120137]
  GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。 本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
  論文  参考訳（メタデータ） (2023-01-27T02:30:51Z)
• Analysis of Catastrophic Forgetting for Random Orthogonal Transformation Tasks in the Overparameterized Regime [9.184987303791292]
  可変MNIST画像分類タスクでは,バニラ勾配降下により訓練された多層パーセプトロンの性能を向上させることができることを示す。 定性的に類似した2タスク線形回帰問題を研究することによって、この効果を理論的に説明する。 モデルが追加の正規化なしで連続的に2つのタスクで訓練された場合、最初のタスクのリスクゲインは小さくなることを示す。
  論文  参考訳（メタデータ） (2022-06-01T18:04:33Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。