論文の概要: FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning

• arxiv url: http://arxiv.org/abs/2601.03938v1
• Date: Wed, 07 Jan 2026 13:55:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.205097
• Title: FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning
• Title（参考訳）: Forever: 言語モデル継続学習のための曲線インスパイアされたメモリリプレイ
• Abstract要約: FOREVER(FORgEtting curVe-inspired mEmory)は、リプレイスケジュールをモデル中心の時間の概念と整合させる新しいフレームワークである。 このアプローチに基づいて、ForeVERは、リプレイのタイミングを決定するための曲線ベースのリプレイスケジューラと、リプレイの方法を適応的に制御するインテンシティ対応の正規化機構を組み込んでいる。
• 参考スコア（独自算出の注目度）: 63.20028888397869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) for large language models (LLMs) aims to enable sequential knowledge acquisition without catastrophic forgetting. Memory replay methods are widely used for their practicality and effectiveness, but most rely on fixed, step-based heuristics that often misalign with the model's actual learning progress, since identical training steps can result in varying degrees of parameter change. Motivated by recent findings that LLM forgetting mirrors the Ebbinghaus human forgetting curve, we propose FOREVER (FORgEtting curVe-inspired mEmory Replay), a novel CL framework that aligns replay schedules with a model-centric notion of time. FOREVER defines model time using the magnitude of optimizer updates, allowing forgetting curve-inspired replay intervals to align with the model's internal evolution rather than raw training steps. Building on this approach, FOREVER incorporates a forgetting curve-based replay scheduler to determine when to replay and an intensity-aware regularization mechanism to adaptively control how to replay. Extensive experiments on three CL benchmarks and models ranging from 0.6B to 13B parameters demonstrate that FOREVER consistently mitigates catastrophic forgetting.
• Abstract（参考訳）: 大規模言語モデル(LLM)のための連続学習(CL)は、破滅的な忘れをせずにシーケンシャルな知識獲得を可能にすることを目的としている。 メモリリプレイ法はその実用性や有効性に広く用いられているが、ほとんどの場合、モデルの実際の学習進捗に悪影響を及ぼすような、固定されたステップベースのヒューリスティックに依存している。 近年,LLM がエビングハウスの人間の忘れ曲線のミラーを忘れているという発見に触発されて,リプレイスケジュールをモデル中心の時間概念と整合させる新しい CL フレームワークである FOREVER (FORgEtting curVe-inspired mEmory Replay) を提案する。 FOREVERは、オプティマイザ更新の規模を使用してモデル時間を定義し、曲線にインスパイアされたリプレイ間隔を忘れて、生のトレーニングステップではなくモデルの内部進化と整合させることができる。 このアプローチに基づいて、ForeVERは、リプレイのタイミングを決定するための曲線ベースのリプレイスケジューラと、リプレイの方法を適応的に制御するインテンシティ対応の正規化機構を組み込んでいる。 3つのCLベンチマークと0.6Bから13Bパラメータのモデルに対する大規模な実験により、ForEVERは破滅的な忘れを常に緩和することを示した。

関連論文リスト

• When to Review: Spaced Repetition for Continual Pre-Training of Language Models [1.0262304700896199]
  既存のリプレイ手法は、しばしばグローバルな古い/新しい混合物とサンプルを均一に選択する。 トレーニングループは、リプレイする履歴だけでなく、各ステップでどの例を返すかを決定する必要があります。 認知科学に触発された連続学習フレームワークである空間反復訓練(Spaced Repetition Training, SRT)を導入し, SuperMemo-2 (SM-2) アルゴリズムを用いてサンプルリハーサルをスケジュールする。
  論文  参考訳（メタデータ） (2026-08-18T08:51:47Z)
• Self-Review Reinforcement Learning (SRRL) with Cross-Episode Memory and Policy Distillation [0.0]
  強化学習(Reinforcement Learning)は、環境フィードバックを用いて大規模言語モデルを訓練するために一般的に用いられる。 トレーニングフレームワークであるセルフレビュー強化学習を導入し、各RLエピソードに明確な自己レビューステップを組み込む。 ファーストパス応答が失敗すると、モデルが自己レビューを生成して、何がうまくいかなかったかを識別する。
  論文  参考訳（メタデータ） (2026-07-06T18:24:16Z)
• Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training [11.074386515074446]
  記憶誘導データ再利用」は、いつ、どのようにデータを再利用すべきかを適応的に決定する訓練パラダイムである。 予備実験では、一貫した記憶駆動体制が示される。
  論文  参考訳（メタデータ） (2026-07-06T11:57:32Z)
• MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models [64.2820121997882]
  MIITAはメモリ駆動型推論時間適応フレームワークである。 教師付きエクスペリエンスをセマンティックアンカーを備えたコンパクトな修正指向プロトタイプとして格納し、セマンティックおよび不確実性ベースのキューを使用して推論時にそれらを検索する。 実験により、MIITAは最終性能を継続的に改善し、固定メモリの予算下での忘れを軽減している。
  論文  参考訳（メタデータ） (2026-05-20T03:03:04Z)
• RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO [53.38929612273108]
  因果自己回帰ビデオ拡散モデルは、以前生成されたコンテンツから将来のチャンクを外挿することでリアルタイムストリーミング生成をサポートする。 本稿では,リアルタイム自動回帰ビデオ補間ネットワーク(RAVEN)を紹介した。これは,各自己ロールアウトを,クリーンな歴史的エンドポイントのインターリーブシーケンスに再パッケージするトレーニングタイムテストフレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T17:59:30Z)
• MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning [36.119948355819]
  本稿では,サンプルレベルの記憶強度を推定し,アダプティブ間隔でリハーサルをスケジュールし,破滅的な忘れを緩和するエクスペリエンス・リプレイ・フレームワークを提案する。 3つのバックボーンモデルと11のシーケンシャルタスクにわたる大規模な実験は、MSSRが一貫して最先端のリプレイベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-10T16:49:44Z)
• MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
  微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。 ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
  論文  参考訳（メタデータ） (2026-01-15T15:15:53Z)
• End-to-End Training for Autoregressive Video Diffusion via Self-Resampling [63.84672807009907]
  自己回帰ビデオ拡散モデルは、世界シミュレーションの可能性を保っているが、列車テストミスマッチに起因する露出バイアスに弱い。 教師なしのフレームワークであるResampling Forcingを導入し、スクラッチから大規模まで自動回帰ビデオモデルのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-12-17T18:53:29Z)
• Recover-to-Forget: Gradient Reconstruction from LoRA for Efficient LLM Unlearning [17.898277374771254]
  本稿では,大規模基盤モデルにおける効率的なアンラーニングのための新しいフレームワークであるRecover-to-Forget(R2F)を紹介する。 R2FはローランクのLoRAアダプタ更新からフルモデル勾配方向を再構築する。 R2Fは、未学習のLLMにおいて、完全な再学習や内部パラメータへのアクセスを必要とせずに、スケーラブルで軽量な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-12-08T10:10:12Z)
• STABLE: Gated Continual Learning for Large Language Models [0.0]
  STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。 各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。 Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-10-17T16:14:05Z)
• Revisiting Replay and Gradient Alignment for Continual Pre-Training of Large Language Models [19.136589266017694]
  大規模言語モデルのトレーニングは通常、大量のコーパスで事前トレーニングを行う。 新しいデータは、しばしば分散シフトを引き起こし、以前に学習したタスクのパフォーマンスが低下する。 この分散シフトに対処するための2つの一般的な提案、すなわちエクスペリエンスのリプレイとアライメントアライメントについて、より深く検討する。
  論文  参考訳（メタデータ） (2025-08-03T20:07:15Z)
• TS-ACL: Closed-Form Solution for Time Series-oriented Continual Learning [16.270548433574465]
  時系列のクラス増分学習は、破滅的な忘れ物とクラス内のバリエーションの2つの大きな課題に直面している。 そこで, TS-ACLを提案する。これは, 傾きのない閉形式解を利用して, 悲惨な忘れ問題を回避する。 プライバシー保護と効率性も備えている。
  論文  参考訳（メタデータ） (2024-10-21T12:34:02Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• On the Costs and Benefits of Adopting Lifelong Learning for Software Analytics -- Empirical Study on Brown Build and Risk Prediction [17.502553991799832]
  本稿では,ユビソフトにおける産業用ユースケースにおける生涯学習(LL)の利用について検討する。 LLは、新しいデータを使用して古いモデルを段階的に更新するインクリメンタルラーナを使用して、MLベースのソフトウェア分析ツールを継続的に構築し、メンテナンスするために使用される。
  論文  参考訳（メタデータ） (2023-05-16T21:57:16Z)
• Sequential Learning Of Neural Networks for Prequential MDL [18.475866691786695]
  ニューラルネットワークを用いた画像分類データセットの事前記述長の計算手法を評価する。 計算コストを考慮すると、リハーサルによるオンライン学習は好成績であることがわかった。 本稿では,画像分類データセットの集合に対する記述長について述べる。
  論文  参考訳（メタデータ） (2022-10-14T16:30:23Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。