論文の概要: Unlocking the Power of Rehearsal in Continual Learning: A Theoretical Perspective
- arxiv url: http://arxiv.org/abs/2506.00205v1
- Date: Fri, 30 May 2025 20:23:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:32.503068
- Title: Unlocking the Power of Rehearsal in Continual Learning: A Theoretical Perspective
- Title（参考訳）: 連続学習におけるリハーサルの力を解き放つ:理論的視点
- Authors: Junze Deng, Qinhang Wu, Peizhong Ju, Sen Lin, Yingbin Liang, Ness Shroff,
- Abstract要約: 本研究では,逐次リハーサルが,通常の同時リハーサルよりも継続学習に有益であるかどうかを検討する。
その結果,タスクの類似度が低い場合には,逐次リハーサルの精度が向上することがわかった。
さらに、類似タスクを同時に訓練し、異なるタスクを逐次再検討する、新しいハイブリッドリハーサル手法の動機付けを行う。
- 参考スコア（独自算出の注目度）: 43.91046454332906
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rehearsal-based methods have shown superior performance in addressing catastrophic forgetting in continual learning (CL) by storing and training on a subset of past data alongside new data in current task. While such a concurrent rehearsal strategy is widely used, it remains unclear if this approach is always optimal. Inspired by human learning, where sequentially revisiting tasks helps mitigate forgetting, we explore whether sequential rehearsal can offer greater benefits for CL compared to standard concurrent rehearsal. To address this question, we conduct a theoretical analysis of rehearsal-based CL in overparameterized linear models, comparing two strategies: 1) Concurrent Rehearsal, where past and new data are trained together, and 2) Sequential Rehearsal, where new data is trained first, followed by revisiting past data sequentially. By explicitly characterizing forgetting and generalization error, we show that sequential rehearsal performs better when tasks are less similar. These insights further motivate a novel Hybrid Rehearsal method, which trains similar tasks concurrently and revisits dissimilar tasks sequentially. We characterize its forgetting and generalization performance, and our experiments with deep neural networks further confirm that the hybrid approach outperforms standard concurrent rehearsal. This work provides the first comprehensive theoretical analysis of rehearsal-based CL.
- Abstract（参考訳）: リハーサルベースの手法は,過去データのサブセットを保存,トレーニングすることで,継続学習(CL)における破滅的な忘れに対処する上で,現在のタスクにおける新たなデータとともに優れた性能を示す。
このような同時リハーサル戦略は広く用いられているが、このアプローチが常に最適であるかどうかは不明である。
タスクの逐次再考が忘れを軽減してくれるヒューマンラーニングに触発されて、シーケンシャルリハーサルが通常のコンカレントリハーサルと比較してCLにより大きなメリットをもたらすかどうかを探る。
この問題に対処するために、過パラメータ線形モデルにおけるリハーサルベースCLの理論解析を行い、以下の2つの戦略を比較した。
1) 同時リハーサル、過去と新データが一緒に訓練され、
2)新しいデータが最初に訓練されたシーケンシャルリハーサル、続いて過去のデータを逐次再考する。
その結果,タスクの類似度が低い場合には,逐次リハーサルの精度が向上することがわかった。
これらの知見は、類似したタスクを同時に訓練し、異なるタスクを順次再検討する、新しいハイブリッドリハーサル手法を動機付けている。
我々は、その忘れと一般化性能を特徴付け、ディープニューラルネットワークを用いた実験により、ハイブリッドアプローチが標準の同時リハーサルより優れていることをさらに確認した。
この研究は、リハーサルベースのCLに関する最初の包括的な理論的分析を提供する。
関連論文リスト
- Incremental Learning with Repetition via Pseudo-Feature Projection [3.4734633097581815]
本研究では,データ反復による非定型的な漸進的学習戦略の影響について検討する。
提案手法は, 従来のシナリオにおいて, 繰り返しを伴わない競争結果と, 繰り返しを伴わない場合の最先端性能を実現する。
論文 参考訳（メタデータ） (2025-02-27T09:43:35Z) - IMEX-Reg: Implicit-Explicit Regularization in the Function Space for Continual Learning [17.236861687708096]
連続学習(CL)は、これまで獲得した知識の破滅的な忘れが原因で、ディープニューラルネットワークの長年にわたる課題の1つである。
低バッファ状態下でのCLにおける経験リハーサルの一般化性能を改善するために,強い帰納バイアスを用いて人間がどのように学習するかに着想を得たIMEX-Regを提案する。
論文 参考訳（メタデータ） (2024-04-28T12:25:09Z) - Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳（メタデータ） (2023-10-11T06:51:46Z) - History Repeats: Overcoming Catastrophic Forgetting For Event-Centric
Temporal Knowledge Graph Completion [33.38304336898247]
時間知識グラフ(TKG)の完成モデルは、トレーニング中にグラフ全体にアクセスすることに依存する。
TKGデータは、イベントが展開するにつれて徐々に受信され、時間とともに動的に非定常なデータ分布につながる。
本稿では,任意のTKG完了法に適用可能な一般的な連続トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-30T01:21:36Z) - Towards Out-of-Distribution Sequential Event Prediction: A Causal
Treatment [72.50906475214457]
シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。
実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。
文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-24T07:54:13Z) - Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。
本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文 参考訳（メタデータ） (2022-06-05T08:49:16Z) - A Closer Look at Rehearsal-Free Continual Learning [26.09061715039747]
リハーサルを伴わない強力な連続学習性能を実現する方法を示す。
まず、パラメータ正規化手法が1つの拡張タスクのリハーサルなし連続学習に失敗するという一般的な仮定を論じる。
次に、リハーサルなし連続学習における事前学習モデルからの知識を活用する方法について検討し、バニラL2パラメータ正則化がEWCパラメータ正則化および特徴蒸留より優れていることを示す。
論文 参考訳（メタデータ） (2022-03-31T17:59:00Z) - An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。
いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。
連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
論文 参考訳（メタデータ） (2021-08-15T15:05:02Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳（メタデータ） (2020-06-22T10:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。