論文の概要: When to Review: Spaced Repetition for Continual Pre-Training of Language Models

• arxiv url: http://arxiv.org/abs/2608.17530v1
• Date: Tue, 18 Aug 2026 08:51:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.27548
• Title: When to Review: Spaced Repetition for Continual Pre-Training of Language Models
• Title（参考訳）: 言語モデルの継続的な事前学習のための空間的繰り返し
• Abstract要約: 既存のリプレイ手法は、しばしばグローバルな古い/新しい混合物とサンプルを均一に選択する。 トレーニングループは、リプレイする履歴だけでなく、各ステップでどの例を返すかを決定する必要があります。 認知科学に触発された連続学習フレームワークである空間反復訓練(Spaced Repetition Training, SRT)を導入し, SuperMemo-2 (SM-2) アルゴリズムを用いてサンプルリハーサルをスケジュールする。
• 参考スコア（独自算出の注目度）: 1.0262304700896199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual pre-training of large language models must acquire new information without erasing old knowledge. Existing replay methods often choose a global old/new mixture and sample uniformly, ignoring that examples differ in how quickly they are forgotten. We formulate continual pre-training as adaptive review scheduling: the training loop should decide not only how much history to replay, but which examples should return at each step. We introduce Spaced Repetition Training (SRT), a continual learning framework inspired by cognitive science, which schedules sample-rehearsal using the SuperMemo-2 (SM-2) algorithm. SRT maintains per-example review state, maps per-example perplexity to a recall-quality signal, and schedules historical examples for retention and new examples for consolidation while leaving the model, objective, and optimizer unchanged. On temporally separated Wikipedia and code corpora, SRT improves the stability-plasticity trade-off, recovering 5 to 37 percentage points of old-knowledge accuracy lost by naive continual pre-training across model scales while preserving or improving new-knowledge acquisition. At larger scale, SRT preserves broad benchmark performance that naive continual pre-training and uniform replay substantially degrade. Experiments with vision and tabular data further suggest that the scheduling principle extends beyond language when paired with an appropriate recall signal.
• Abstract（参考訳）: 大規模言語モデルの継続的な事前訓練は、古い知識を消さずに新しい情報を取得する必要がある。 既存のリプレイ手法は、しばしばグローバルな古い/新しい混合物とサンプルを均一に選択する。 トレーニングループは、リプレイする履歴だけでなく、各ステップでどの例を返すかを決定する必要があります。 認知科学に触発された連続学習フレームワークである空間反復訓練(Spaced Repetition Training, SRT)を導入し, SuperMemo-2 (SM-2) アルゴリズムを用いてサンプルリハーサルをスケジュールする。 SRTは、サンプルごとのレビュー状態を維持し、サンプルごとのパープレキシティをリコール品質の信号にマップし、保持のための歴史的な例と、モデル、目的、オプティマイザをそのまま残しながら、統合のための新しい例をスケジュールする。 一時的に分離されたウィキペディアとコードコーパスでは、SRTは安定性と塑性のトレードオフを改善し、新しい知識の獲得を保存または改善しながら、モデルスケールをまたいだ継続的な事前トレーニングによって失われる古い知識の正確さの5～37パーセントを回復する。 大規模では、SRTは、連続的な事前トレーニングと一様リプレイを著しく低下させる広範囲なベンチマーク性能を保っている。 視覚と表データによる実験は、適切なリコール信号とペアを組むと、スケジューリングの原理が言語を超えて広がることを示唆している。

関連論文リスト

• Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training [11.074386515074446]
  記憶誘導データ再利用」は、いつ、どのようにデータを再利用すべきかを適応的に決定する訓練パラダイムである。 予備実験では、一貫した記憶駆動体制が示される。
  論文  参考訳（メタデータ） (2026-07-06T11:57:32Z)
• Erased, but Not Gone: Output Forgetting Is Not True Forgetting [9.095371772236932]
  標準出力レベル評価は、アンラーニングの成功を体系的に過大評価できることを示す。 この強いレンズの下では、現在の手法はしばしば出力層で忘れられ、再トレーニングに対して構造化ミスマッチを示す。 この構造ミスマッチは、非対称性を忘れ/保持し、方向ミスマッチ、およびリトレーニング関連方向に沿った集中残差を特徴とする。
  論文  参考訳（メタデータ） (2026-06-23T16:23:53Z)
• Continual Self-Improvement with Lightweight Experiential Latent Memories [5.476321641759679]
  大規模言語モデルは、推論時間計算をスケールすることで、強力な推論性能を達成する。 In-Context Learning (ICL) が生の推論トレース上では一般化できないことを示す。 本稿では,問題に費やされた推論時間計算を,コンパクトなモジュラー潜在記憶に蒸留するオンライン手法を提案する。
  論文  参考訳（メタデータ） (2026-06-16T11:27:28Z)
• FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning [63.20028888397869]
  FOREVER(FORgEtting curVe-inspired mEmory)は、リプレイスケジュールをモデル中心の時間の概念と整合させる新しいフレームワークである。 このアプローチに基づいて、ForeVERは、リプレイのタイミングを決定するための曲線ベースのリプレイスケジューラと、リプレイの方法を適応的に制御するインテンシティ対応の正規化機構を組み込んでいる。
  論文  参考訳（メタデータ） (2026-01-07T13:55:14Z)
• Retrieval-augmented Prompt Learning for Pre-trained Foundation Models [101.13972024610733]
  本稿では,記憶と一般化のバランスをとることを目的としたRetroPromptを提案する。 従来のプロンプトメソッドとは異なり、RetroPromptは入力、トレーニング、推論ステージ全体にわたって検索メカニズムを組み込んでいる。 提案手法の優れた性能を示すために,自然言語処理やコンピュータビジョンタスクにまたがる様々なデータセットに関する総合的な実験を行った。
  論文  参考訳（メタデータ） (2025-12-23T08:15:34Z)
• Revisiting Replay and Gradient Alignment for Continual Pre-Training of Large Language Models [19.136589266017694]
  大規模言語モデルのトレーニングは通常、大量のコーパスで事前トレーニングを行う。 新しいデータは、しばしば分散シフトを引き起こし、以前に学習したタスクのパフォーマンスが低下する。 この分散シフトに対処するための2つの一般的な提案、すなわちエクスペリエンスのリプレイとアライメントアライメントについて、より深く検討する。
  論文  参考訳（メタデータ） (2025-08-03T20:07:15Z)
• Beyond Cosine Decay: On the effectiveness of Infinite Learning Rate Schedule for Continual Pre-training [28.73282119260246]
  ラベルのないデータは、人工知能システムのトレーニングの機会と課題の両方を提示します。 自己教師付き学習は、大量のラベルのないデータから有意義な表現を抽出する強力なパラダイムとして現れてきたが、既存の手法は、それまでの知識を忘れずに、実世界のデータストリームの静的で非IID的な性質に適応することに苦慮している。 本研究では,最近提案された無限学習率スケジュールと広く使用されているコサインスケジュールを体系的に比較し,後者がより効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2025-03-04T18:15:57Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。