論文の概要: Rethinking Transfer in Continual Learning: A Replay-Based Realisation

• arxiv url: http://arxiv.org/abs/2607.15587v1
• Date: Fri, 17 Jul 2026 03:18:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.739164
• Title: Rethinking Transfer in Continual Learning: A Replay-Based Realisation
• Title（参考訳）: 継続的な学習における転向の再考:リプレイに基づく実現
• Abstract要約: 継続的な学習は、スクラッチから高価な再訓練なしに、言語モデルが新しいタスクを継続的に取得する方法を研究する。 既存の手法では、リハーサルベース(過去のデータの再生)やリハーサルフリー(パラメータの正規化や分離)のいずれでも、大惨な忘れの防止という1つの目標を圧倒的に狙う。 本稿では,過去の事例を無差別に再生するのではなく,入力タスクに利益をもたらすと予測された再生データを選択するTransfer-Selective Replay (TSR)を提案する。
• 参考スコア（独自算出の注目度）: 14.73400672149583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning studies how deployed language models can continually acquire new tasks without expensive retraining from scratch. Existing methods, whether rehearsal-based (replaying stored past data) or rehearsal-free (regularising or isolating parameters), overwhelmingly target one objective: preventing catastrophic forgetting. Forward transfer, the past helping the future, has meanwhile been pursued almost exclusively through parameter reuse, with no explicit account of when transfer should be expected at all. We begin one step earlier: before designing a transfer mechanism, we ask when transfer should exist at all. We answer with a framework of three measurable conditions: the target task must leave room for improvement beyond its own limited supervision, transferable information must survive continued optimisation, and replay must come from compatible previous tasks. We instantiate this view as Transfer-Selective Replay (TSR), which selects replay data predicted to benefit the incoming task rather than replaying past examples indiscriminately. Selection is guided by a zero-training task signature, while distillation preserves stability on previous tasks. Under the standard continual learning protocol in the low-budget regime, TSR consistently improves forward transfer while maintaining stability, outperforming existing replay baselines across heterogeneous and homogeneous task streams. More broadly, the results argue for treating transfer as a first-class objective of continual learning, to be understood before it is engineered.
• Abstract（参考訳）: 継続的学習は、どのようにデプロイされた言語モデルがスクラッチから高価な再トレーニングをすることなく、新しいタスクを継続的に取得するかを研究する。 既存の手法では、リハーサルベース(過去のデータの再生)やリハーサルフリー(パラメータの正規化や分離)のいずれでも、大惨な忘れの防止という1つの目標を圧倒的に狙う。 将来を支援する過去であるフォワード転送は、パラメータ再利用を通じてほぼ独占的に追求されており、転送がいつ期待されるかを明確に説明していない。 転送メカニズムを設計する前に、転送がいつ存在するべきかを尋ねます。 我々は、3つの測定可能な条件の枠組みで答える: 対象のタスクは、自身の限られた監督範囲を超えて改善の余地を残し、転送可能な情報は継続的な最適化を継続し、リプレイは互換性のある以前のタスクから来なければならない。 このビューをTransfer-Selective Replay (TSR) としてインスタンス化し、過去の例を無差別に再生するのではなく、入力タスクに利益をもたらすと予測されたリプレイデータを選択する。 選択はゼロトレーニングタスクシグネチャによって導かれるが、蒸留は以前のタスクの安定性を保っている。 低予算体制における標準連続学習プロトコルの下では、TSRは安定性を維持しつつ、フォワード転送を継続的に改善し、不均一なタスクストリームと均質なタスクストリームをまたいだ既存のリプレイベースラインを上回っている。 より広義には、移行を継続的な学習の第一級目的として扱うことは、それが工学される前に理解されるべきであると主張している。

関連論文リスト

• When to Review: Spaced Repetition for Continual Pre-Training of Language Models [1.0262304700896199]
  既存のリプレイ手法は、しばしばグローバルな古い/新しい混合物とサンプルを均一に選択する。 トレーニングループは、リプレイする履歴だけでなく、各ステップでどの例を返すかを決定する必要があります。 認知科学に触発された連続学習フレームワークである空間反復訓練(Spaced Repetition Training, SRT)を導入し, SuperMemo-2 (SM-2) アルゴリズムを用いてサンプルリハーサルをスケジュールする。
  論文  参考訳（メタデータ） (2026-08-18T08:51:47Z)
• Turning Back Without Forgetting: Selective Backward Refinement for Parameter-Efficient Continual Learning [22.058497718429518]
  本稿では,プロンプトベース連続学習における逆転送制御を実現するリプレイフリーフレームワークを提案する。 SABERは、補完的なタスク相関基準を用いて、後方修正が有効であるかどうかを決定する。 複数の連続学習ベンチマークと、T5-Large、LLaMA、Qwenを含む様々な事前訓練されたバックボーンに対する実験は、SABERが常にポジティブな後方転送を実現することを実証している。
  論文  参考訳（メタデータ） (2026-05-31T18:08:24Z)
• Task Switching Without Forgetting via Proximal Decoupling [43.88767637201092]
  継続的な学習において、最大の課題は、古い知識を忘れずに新しい情報を学ぶことである。 一般的な解決策は、このトレードオフを正規化を通じて解決し、以前のタスクに不可欠なパラメータの変更を罰する。 本稿では,作業者の分割によるタスク学習と安定性の強化を分離するアプローチを提案する。
  論文  参考訳（メタデータ） (2026-04-20T21:28:13Z)
• SAE as a Crystal Ball: Interpretable Features Predict Cross-domain Transferability of LLMs without Training [70.84726713548099]
  SAEベースのTransferability Score(STS)は、トレーニング後のTransferabilityを予測するための新しい指標である。 STSは教師付き微調整の伝達可能性を正確に予測し,実際の性能変化とともに0.7以上のピアソン相関係数を達成できることを示す。
  論文  参考訳（メタデータ） (2026-03-03T12:01:09Z)
• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Beyond Anti-Forgetting: Multimodal Continual Instruction Tuning with Positive Forward Transfer [21.57847333976567]
  MCIT(Multimodal Continual Instruction Tuning)は、Multimodal Large Language Models(MLLM)が、高価なリトレーニングなしで継続的な要求を満たすことを可能にする。 MCITは、破滅的な忘れ(古い知識が忘れられている)と負の転送という2つの大きな障害に直面している。 本稿では,これらの問題に対処するため,Pwd-Prompt Forward Transfer(Pwd-Prompt)を用いたPrompt Tuningを提案する。
  論文  参考訳（メタデータ） (2024-01-17T12:44:17Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
  クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:33:02Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。