論文の概要: FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning

• arxiv url: http://arxiv.org/abs/2601.03938v1
• Date: Wed, 07 Jan 2026 13:55:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.205097
• Title: FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning
• Title（参考訳）: Forever: 言語モデル継続学習のための曲線インスパイアされたメモリリプレイ
• Authors: Yujie Feng, Hao Wang, Jian Li, Xu Chu, Zhaolu Kang, Yiran Liu, Yasha Wang, Philip S. Yu, Xiao-Ming Wu,
• Abstract要約: FOREVER(FORgEtting curVe-inspired mEmory)は、リプレイスケジュールをモデル中心の時間の概念と整合させる新しいフレームワークである。 このアプローチに基づいて、ForeVERは、リプレイのタイミングを決定するための曲線ベースのリプレイスケジューラと、リプレイの方法を適応的に制御するインテンシティ対応の正規化機構を組み込んでいる。
• 参考スコア（独自算出の注目度）: 63.20028888397869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) for large language models (LLMs) aims to enable sequential knowledge acquisition without catastrophic forgetting. Memory replay methods are widely used for their practicality and effectiveness, but most rely on fixed, step-based heuristics that often misalign with the model's actual learning progress, since identical training steps can result in varying degrees of parameter change. Motivated by recent findings that LLM forgetting mirrors the Ebbinghaus human forgetting curve, we propose FOREVER (FORgEtting curVe-inspired mEmory Replay), a novel CL framework that aligns replay schedules with a model-centric notion of time. FOREVER defines model time using the magnitude of optimizer updates, allowing forgetting curve-inspired replay intervals to align with the model's internal evolution rather than raw training steps. Building on this approach, FOREVER incorporates a forgetting curve-based replay scheduler to determine when to replay and an intensity-aware regularization mechanism to adaptively control how to replay. Extensive experiments on three CL benchmarks and models ranging from 0.6B to 13B parameters demonstrate that FOREVER consistently mitigates catastrophic forgetting.
• Abstract（参考訳）: 大規模言語モデル(LLM)のための連続学習(CL)は、破滅的な忘れをせずにシーケンシャルな知識獲得を可能にすることを目的としている。 メモリリプレイ法はその実用性や有効性に広く用いられているが、ほとんどの場合、モデルの実際の学習進捗に悪影響を及ぼすような、固定されたステップベースのヒューリスティックに依存している。 近年,LLM がエビングハウスの人間の忘れ曲線のミラーを忘れているという発見に触発されて,リプレイスケジュールをモデル中心の時間概念と整合させる新しい CL フレームワークである FOREVER (FORgEtting curVe-inspired mEmory Replay) を提案する。 FOREVERは、オプティマイザ更新の規模を使用してモデル時間を定義し、曲線にインスパイアされたリプレイ間隔を忘れて、生のトレーニングステップではなくモデルの内部進化と整合させることができる。 このアプローチに基づいて、ForeVERは、リプレイのタイミングを決定するための曲線ベースのリプレイスケジューラと、リプレイの方法を適応的に制御するインテンシティ対応の正規化機構を組み込んでいる。 3つのCLベンチマークと0.6Bから13Bパラメータのモデルに対する大規模な実験により、ForEVERは破滅的な忘れを常に緩和することを示した。

関連論文リスト

• End-to-End Training for Autoregressive Video Diffusion via Self-Resampling [63.84672807009907]
  自己回帰ビデオ拡散モデルは、世界シミュレーションの可能性を保っているが、列車テストミスマッチに起因する露出バイアスに弱い。 教師なしのフレームワークであるResampling Forcingを導入し、スクラッチから大規模まで自動回帰ビデオモデルのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-12-17T18:53:29Z)
• Recover-to-Forget: Gradient Reconstruction from LoRA for Efficient LLM Unlearning [17.898277374771254]
  本稿では,大規模基盤モデルにおける効率的なアンラーニングのための新しいフレームワークであるRecover-to-Forget(R2F)を紹介する。 R2FはローランクのLoRAアダプタ更新からフルモデル勾配方向を再構築する。 R2Fは、未学習のLLMにおいて、完全な再学習や内部パラメータへのアクセスを必要とせずに、スケーラブルで軽量な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-12-08T10:10:12Z)
• STABLE: Gated Continual Learning for Large Language Models [0.0]
  STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。 各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。 Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-10-17T16:14:05Z)
• TS-ACL: Closed-Form Solution for Time Series-oriented Continual Learning [16.270548433574465]
  時系列のクラス増分学習は、破滅的な忘れ物とクラス内のバリエーションの2つの大きな課題に直面している。 そこで, TS-ACLを提案する。これは, 傾きのない閉形式解を利用して, 悲惨な忘れ問題を回避する。 プライバシー保護と効率性も備えている。
  論文  参考訳（メタデータ） (2024-10-21T12:34:02Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• On the Costs and Benefits of Adopting Lifelong Learning for Software Analytics -- Empirical Study on Brown Build and Risk Prediction [17.502553991799832]
  本稿では,ユビソフトにおける産業用ユースケースにおける生涯学習(LL)の利用について検討する。 LLは、新しいデータを使用して古いモデルを段階的に更新するインクリメンタルラーナを使用して、MLベースのソフトウェア分析ツールを継続的に構築し、メンテナンスするために使用される。
  論文  参考訳（メタデータ） (2023-05-16T21:57:16Z)
• Sequential Learning Of Neural Networks for Prequential MDL [18.475866691786695]
  ニューラルネットワークを用いた画像分類データセットの事前記述長の計算手法を評価する。 計算コストを考慮すると、リハーサルによるオンライン学習は好成績であることがわかった。 本稿では,画像分類データセットの集合に対する記述長について述べる。
  論文  参考訳（メタデータ） (2022-10-14T16:30:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。