論文の概要: To Retain or to Adapt? Generalizing Continual Learning

• arxiv url: http://arxiv.org/abs/2607.05609v1
• Date: Mon, 06 Jul 2026 20:11:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.313154
• Title: To Retain or to Adapt? Generalizing Continual Learning
• Title（参考訳）: 維持か適応か? 継続的な学習を一般化する
• Authors: Giulia Lanzillotta, Mandana Samiei, Doina Precup, Razvan Pascanu, Claire Vernade,
• Abstract要約: 我々は、静止しない環境において、保持の優先順位付けはリアルタイム適応を妨げると論じている。 環境学と学習学の相互作用が支配するオンライン最適化問題としてCLを定式化する。 本稿では,予測連続学習と呼ぶ連続学習アルゴリズムの一般クラスを提案する。
• 参考スコア（独自算出の注目度）: 39.95178050304739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Continual Learning (CL) literature has long been driven by the goal of mitigating catastrophic forgetting. This objective rests on a pervasive, often unstated assumption: that a lifelong learner should approximate the Joint-Task Learning (JTL) solution and retain all previously acquired knowledge. We challenge this retention-centered premise, arguing that in non-stationary environments prioritizing retention can impede real-time adaptation. Shifting the focus to the Average Lifelong Error (ALE), we formalize CL as an online optimization problem governed by the interaction between environmental and learning dynamics. We introduce Transfer Efficiency as a quantitative measure of the tension between Instability, the bias inherited from conflicting past experience, and Transient Error, the optimization cost of learning new tasks from scratch. Under mild convergence conditions, holding across linear and neural network models, this decomposition yields a Critical Task Duration: a closed-form threshold beyond which historical knowledge transitions from a warm-start advantage to an optimization liability whenever retention induces a positive stationary bias. We validate these theoretical predictions on continual image classification and reinforcement learning benchmarks. Finally, by connecting continual learning to the online learning framework of predictable sequences, we show that JTL is only one instance of a broader family of objectives, and we propose a new general class of continual learning algorithms, which we call Predictive Continual Learning. Predictive CL algorithms optimize expected future performance under an explicit, dynamically updated model of future tasks. As a proof of concept, we analyze a Window algorithm that interpolates between JTL and Independent-Task Learning (ITL), outperforming both under controlled distributional drift.
• Abstract（参考訳）: 継続的な学習(CL)文学は、破滅的な忘れを緩和するという目標によって、長い間推進されてきた。 この目的は、生涯学習者がJTL(Joint-Task Learning)ソリューションを近似し、以前に獲得した知識を全て保持する、という、広範でしばしば統計的でない仮定に基づいている。 我々は、この保持中心の前提に挑戦し、保持を優先する非定常環境においては、リアルタイム適応を阻害する可能性があると主張した。 ALE(Average Lifelong Error)に焦点を移し、環境と学習力学の相互作用によって支配されるオンライン最適化問題としてCLを定式化する。 我々は、不安定性、過去の経験の相反から引き継がれたバイアス、新しいタスクをスクラッチから学習する際の最適化コストである過渡エラーの間の緊張の定量的尺度として、転送効率を導入する。 線形およびニューラルネットワークモデルにまたがる緩やかな収束条件の下で、この分解はクリティカル・タスク・デュレーション(Critical Task Duration)をもたらす。 連続的な画像分類と強化学習ベンチマークにおけるこれらの理論予測を検証した。 最後に、連続学習を予測可能なシーケンスのオンライン学習フレームワークに接続することにより、JTLは目的のより広いファミリーの1つの事例に過ぎず、予測連続学習と呼ばれる新しい一般学習アルゴリズムを提案する。 予測CLアルゴリズムは、将来のタスクの明示的で動的に更新されたモデルの下で、期待される将来のパフォーマンスを最適化する。 概念実証として、JTLと独立タスク学習(ITL)を補間するウィンドウアルゴリズムを解析し、制御された分散ドリフト下での双方よりも優れていることを示す。

関連論文リスト

• The Forgetting-Retention Dilemma: Certified Unlearning Theory in Continual Learning [23.209639058960477]
  機械学習は、モデルから特定のデータの影響を排除し、プライバシを保護することを目的としている。 現在認定されている未学習アルゴリズムは、継続的学習に固有の累積モデル進化を説明できない。 CLの未学習目標を学習後過剰リスクの最小化として定式化し,CL過剰リスクと未学習損失に分解する。
  論文  参考訳（メタデータ） (2026-06-29T06:18:51Z)
• Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
  Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
  論文  参考訳（メタデータ） (2026-05-08T14:07:32Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。