論文の概要: Replay on Demand: An Emergent Curriculum for Balancing Adaptation and Forgetting in Continued Pretraining

• arxiv url: http://arxiv.org/abs/2609.40089v1
• Date: Wed, 30 Sep 2026 16:31:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.083803
• Title: Replay on Demand: An Emergent Curriculum for Balancing Adaptation and Forgetting in Continued Pretraining
• Title（参考訳）: Replay on Demand: A Emergent Curriculum for Balancing Adaptation and Forgetting in Continued Pretraining
• Abstract要約: リプレイ・オン・デマンド(RoD)を導入し、モデルの学習力学からリプレイ・アロケーションを導出する。 RoDは、残りの学習電位で適応サンプルを優先順位付けし、観察された記憶によってサンプルを再生する。 RoDは、前もってリプレイアロケーションを規定することなく、調整済みの固定再生ベースラインとモデルマージの適応鍛造フロンティアに到達または改善する。
• 参考スコア（独自算出の注目度）: 57.682536511720265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continued pretraining enables language models to adapt to new domains and knowledge, but often at the cost of forgetting previously acquired capabilities. Replay can mitigate this trade-off, but fixed replay mixtures allocate training independently of the model's actual retention needs. We introduce Replay on Demand (RoD), which instead derives the replay allocation from the model's learning dynamics. RoD jointly prioritizes adaptation samples by their remaining learning potential and replay samples by their observed forgetting. Their competition for a shared training budget yields an online curriculum that determines what to train on at each step. Across models, scales, and adaptation domains, RoD reaches or improves upon the adaptation-forgetting frontier of tuned fixed-replay baselines and model merging without prescribing a replay allocation in advance. Replay concentrates on sources that are more vulnerable to forgetting and dynamically increases and redistributes as forgetting emerges during training. Together, our results show that replay can be allocated online from the model's evolving state, targeting what is needed, when it is needed.
• Abstract（参考訳）: 継続的な事前トレーニングにより、言語モデルは新しいドメインや知識に適応できるが、多くの場合、以前取得した機能を忘れるコストがかかる。 リプレイはこのトレードオフを軽減することができるが、固定されたリプレイミックスはモデルの実際の保持ニーズとは独立してトレーニングを割り当てる。 リプレイ・オン・デマンド(RoD)を導入し、モデルの学習力学からリプレイ・アロケーションを導出する。 RoDは、残りの学習電位で適応サンプルを優先順位付けし、観察された記憶によってサンプルを再生する。 共有トレーニング予算の競争は、各ステップで何をトレーニングするかを決定するオンラインカリキュラムを生み出します。 モデル、スケール、適応領域全体において、RoDは前もってリプレイアロケーションを規定することなく、調整された固定再生ベースラインとモデルマージの適応鍛造フロンティアに到達または改善する。 リプレイは、トレーニング中に忘れることが現れるにつれて、忘れることや動的に増加することに対して脆弱なソースに集中する。 その結果、リプレイはモデルが進化する状態からオンラインに割り当てられ、必要なときに必要なものを対象としていることがわかった。

関連論文リスト

• Reliable Replay through Spatial Coherence in Online Continual Learning [36.157385602644474]
  本研究では,幅広い学習環境に適用可能な汎用リプレイアロケーション手法であるSPHERE(SPatial Coherent Risk Control for REplay)を提案する。 移動目標の感度から元の損失変化に対するリプレイ係数を導出し、ベースラインリハーサルを維持するためにそれらを均一なリプレイとブレンドする。 実験により、SPHEREは精度を向上し、ノイズラベルビジョンタスク、連続言語モデル調律、不完全なテスト報酬を伴うコード生成強化学習における忘れを少なくすることが示された。
  論文  参考訳（メタデータ） (2026-09-27T16:27:53Z)
• When to Review: Spaced Repetition for Continual Pre-Training of Language Models [1.0262304700896199]
  既存のリプレイ手法は、しばしばグローバルな古い/新しい混合物とサンプルを均一に選択する。 トレーニングループは、リプレイする履歴だけでなく、各ステップでどの例を返すかを決定する必要があります。 認知科学に触発された連続学習フレームワークである空間反復訓練(Spaced Repetition Training, SRT)を導入し, SuperMemo-2 (SM-2) アルゴリズムを用いてサンプルリハーサルをスケジュールする。
  論文  参考訳（メタデータ） (2026-08-18T08:51:47Z)
• Forgetting in Language Models: Capacity, Optimization, and Self-Generated Replay [44.18996691373878]
  自己生成サンプルが効果的な再生データとして機能し、ほとんど忘れられないことを示す。 モデルがキャパシティをほとんど持たない場合には、忘れることが継続する。
  論文  参考訳（メタデータ） (2026-05-25T17:54:34Z)
• RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO [53.38929612273108]
  因果自己回帰ビデオ拡散モデルは、以前生成されたコンテンツから将来のチャンクを外挿することでリアルタイムストリーミング生成をサポートする。 本稿では,リアルタイム自動回帰ビデオ補間ネットワーク(RAVEN)を紹介した。これは,各自己ロールアウトを,クリーンな歴史的エンドポイントのインターリーブシーケンスに再パッケージするトレーニングタイムテストフレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T17:59:30Z)
• CreFlow: Corrective Reflow for Sparse-Reward Embodied Video Diffusion RL [56.969946199335716]
  本稿では,ポストトレーニング後のエンボディドビデオ生成モデルに対して,コンポジション制約に基づく報酬モデルを提案する。 提案するCreFlowは,2つの鍵となる設計を持つ新しいオンラインRLフレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T02:18:58Z)
• ReMiT: RL-Guided Mid-Training for Iterative LLM Evolution [49.496216822640974]
  トレーニングのダイナミクスを分析し,中間学習フェーズをモデル能力の重要な転換点として同定する。 本稿では,ReMiT(Reinforcement Learning-Guided Mid-Training)を導入する。
  論文  参考訳（メタデータ） (2026-02-03T04:04:41Z)
• FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning [63.20028888397869]
  FOREVER(FORgEtting curVe-inspired mEmory)は、リプレイスケジュールをモデル中心の時間の概念と整合させる新しいフレームワークである。 このアプローチに基づいて、ForeVERは、リプレイのタイミングを決定するための曲線ベースのリプレイスケジューラと、リプレイの方法を適応的に制御するインテンシティ対応の正規化機構を組み込んでいる。
  論文  参考訳（メタデータ） (2026-01-07T13:55:14Z)
• Replay Can Provably Increase Forgetting [24.538643224479515]
  継続的な学習にとって重要な課題は、新しいタスクが導入されるにつれて、以前に学習したタスクのパフォーマンスが低下する、忘れることである。 忘れることを減らすためによく使われる技法の1つ、サンプル再生は、忘れることを減らすために経験的に示されている。 ノイズのない設定であっても,リプレイサンプル数に関して,忘れることはモノトニックではないことを示す。
  論文  参考訳（メタデータ） (2025-06-04T18:46:23Z)
• Scalable Strategies for Continual Learning with Replay [0.0]
  リプレイは継続学習において基礎的な役割を担い、モデルが過去の知識と新しい情報を一致させることができることを示す。 しかし実際には、リプレイは極めて難解であり、ナイーティブな適用では継続学習のコストが2倍になる。 コンソリデーション(consolidation)は、特定のパフォーマンスターゲットに必要なリプレイサンプルを最大55%削減する、リプレイのためのファシックなアプローチである。 次に、連続的な学習環境に合わせたタスク演算のオフシュートであるシーケンシャルマージを提案し、リプレイと組み合わせてうまく動作することを示す。
  論文  参考訳（メタデータ） (2025-05-18T18:23:50Z)
• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。