論文の概要: Understanding the Role of Rehearsal Scale in Continual Learning under Varying Model Capacities

• arxiv url: http://arxiv.org/abs/2602.20791v1
• Date: Tue, 24 Feb 2026 11:29:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-25 17:34:53.725597
• Title: Understanding the Role of Rehearsal Scale in Continual Learning under Varying Model Capacities
• Title（参考訳）: モデル能力の変動による継続学習におけるリハーサル尺度の役割の理解
• Authors: JinLi He, Liang Bai, Xian Yang,
• Abstract要約: リハーサルに基づく連続学習を多次元実効性駆動型反復最適化問題として定式化する。 我々は、リハーサルスケールの観点から、適応性、記憶可能性、一般化のクローズドフォーム分析を導出する。 複数の実世界のデータセットにまたがるディープニューラルネットワークの数値シミュレーションと拡張解析により,これらの知見を検証した。
• 参考スコア（独自算出の注目度）: 11.882528379148141
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rehearsal is one of the key techniques for mitigating catastrophic forgetting and has been widely adopted in continual learning algorithms due to its simplicity and practicality. However, the theoretical understanding of how rehearsal scale influences learning dynamics remains limited. To address this gap, we formulate rehearsal-based continual learning as a multidimensional effectiveness-driven iterative optimization problem, providing a unified characterization across diverse performance metrics. Within this framework, we derive a closed-form analysis of adaptability, memorability, and generalization from the perspective of rehearsal scale. Our results uncover several intriguing and counterintuitive findings. First, rehearsal can impair model's adaptability, in sharp contrast to its traditionally recognized benefits. Second, increasing the rehearsal scale does not necessarily improve memory retention. When tasks are similar and noise levels are low, the memory error exhibits a diminishing lower bound. Finally, we validate these insights through numerical simulations and extended analyses on deep neural networks across multiple real-world datasets, revealing statistical patterns of rehearsal mechanisms in continual learning.
• Abstract（参考訳）: リハーサルは破滅的な忘れを緩和する重要な手法の1つであり、その単純さと実用性から継続的な学習アルゴリズムに広く採用されている。 しかし、リハーサルスケールが学習力学に与える影響に関する理論的理解は依然として限られている。 このギャップに対処するために,リハーサルに基づく連続学習を多次元実効性駆動型反復最適化問題として定式化し,多様な性能指標に統一的な特徴を与える。 この枠組みでは、リハーサルスケールの観点から適応性、記憶可能性、一般化の閉形式解析を導出する。 以上の結果から,いくつかの興味深い発見と反直感的な発見が得られた。 第一に、リハーサルは、伝統的に認められた利益とは対照的に、モデルの適応性を損なう可能性がある。 第2に、リハーサルスケールの増加は必ずしもメモリ保持を改善するとは限らない。 タスクが似ていてノイズレベルが低い場合、メモリエラーは低下する低い境界を示す。 最後に,複数の実世界のデータセットにまたがるディープニューラルネットワークの数値シミュレーションと拡張分析により,これらの知見を検証し,連続学習におけるリハーサル機構の統計的パターンを明らかにする。

関連論文リスト

• The Importance of Being Lazy: Scaling Limits of Continual Learning [60.97756735877614]
  モデル幅の増大は,特徴学習の量を減らし,遅延度を高めた場合にのみ有益であることを示す。 特徴学習,タスク非定常性,および忘れることの複雑な関係について検討し,高い特徴学習が極めて類似したタスクにのみ有用であることを示す。
  論文  参考訳（メタデータ） (2025-06-20T10:12:38Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
  対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。 この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
  論文  参考訳（メタデータ） (2024-05-29T15:44:51Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• An Empirical Investigation of the Role of Pre-training in Lifelong Learning [21.995593026269578]
  複数のタスクを逐次学習する際の破滅的忘れの影響を,ジェネリック事前学習が暗黙的に軽減することを示す。 本研究では、この現象を損失景観を解析し、トレーニング済みの重みがより広いミニマへと導くことで忘れやすいように見えることを明らかにする。
  論文  参考訳（メタデータ） (2021-12-16T19:00:55Z)
• Rehearsal revealed: The limits and merits of revisiting samples in continual learning [43.40531878205344]
  我々は,継続学習における最も確立された手法の一つであるリハーサルの限界とメリットについて考察する。 リハーサルで順次訓練されたモデルは、タスクが完了した後も同じ低損失領域にとどまりがちであるが、サンプルメモリに過剰適合する危険性がある。
  論文  参考訳（メタデータ） (2021-04-15T13:28:14Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。