論文の概要: When Does Continual Learning Require Learning

• arxiv url: http://arxiv.org/abs/2607.07847v1
• Date: Wed, 08 Jul 2026 18:27:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 16:54:55.155541
• Title: When Does Continual Learning Require Learning
• Title（参考訳）: 継続的学習はいつ学習を必要とするか
• Abstract要約: 継続的学習は単一の能力ではないことを示す。 環境変化の異なるパターンは、根本的に異なる更新動作を必要とする。 それぞれの手法が成功するか、失敗するかを理解することが、より強力な継続的学習システムの設計を導くことを願っている。
• 参考スコア（独自算出の注目度）: 68.55508958298942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) become increasingly capable, the next question is how can we enable models to continually learn? Today, the field largely frames this as a problem of context management and mitigating forgetting. We argue this framing is incomplete: continual learning is fundamentally about increasing model competence as the world changes. We disentangle this change along two axes -- space, where the model encounters new domains, and time, where the underlying data drifts under a fixed task. This framing lets us study continual learning under realistic conditions: new domains arrive over time, facts drift past their training cutoff, and agentic interactions accumulate state across episodes. To evaluate methods under this setting, we recast widely used LLM benchmarks as sequential problems and introduce a single mechanism-agnostic protocol that compares prompt-based methods (GEPA, ACE), supervised learning (SFT, SDFT), reinforcement learning (GRPO, SDPO), and context compression (Cartridges, In-place TTT). Prompt-based methods fit each new stage quickly but degrade on future tasks. Distillation-based methods accumulate knowledge stably but struggle to update outdated facts. Context compression improves efficiency without substantially improving the ability to learn new tasks. Online reinforcement learning adapts most effectively to knowledge updates but remains sensitive to noisy reward signals. Overall, our results suggest that continual learning is not a single capability: different patterns of environmental change require fundamentally different update behaviors, determining when adaptation must be learned inside model weights and when it can be achieved through external scaffolding. We hope that understanding where each method succeeds and fails will guide the design of stronger continual learning systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)の能力が向上するにつれて、次の疑問は、モデルを継続的に学習可能にするにはどうすればよいのか、ということです。 今日では、この分野は、コンテキスト管理と忘れを緩和する問題として、これを主に捉えている。 継続的学習は基本的に、世界が変わるにつれて、モデルの能力を高めることです。 モデルが新しいドメインに遭遇するスペースと、基礎となるデータが固定されたタスクの下でドリフトする時間という2つの軸に沿って、この変更をアンタングルします。 このフレーミングによって、私たちは現実的な条件下で継続的な学習を研究することができます。新しいドメインは時間とともに到着し、事実はトレーニングの切り離しを通り過ぎ、エージェント的相互作用はエピソード全体に状態を蓄積します。 この条件下での手法を評価するため,LLMベンチマークを逐次問題として再放送し,プロンプトベース手法(GEPA,ACE),教師付き学習(SFT,SDFT),強化学習(GRPO,SDPO),コンテキスト圧縮(Cartridges,In-place TTT)を比較した単一のメカニズムに依存しないプロトコルを導入する。 Promptベースのメソッドは、新しいステージに素早く適合するが、将来のタスクでは劣化する。 蒸留法は知識を安定的に蓄積するが、時代遅れの事実を更新するのに苦労する。 コンテキスト圧縮は、新しいタスクを学習する能力を大幅に改善することなく、効率を向上する。 オンライン強化学習は知識更新に最も効果的に適応するが、ノイズの多い報酬信号に敏感である。 環境変化の異なるパターンは、根本的に異なる更新動作を必要とし、モデルの重みの中でいつ適応を学ばなければならないか、外部の足場を通していつ達成できるかを決定する。 それぞれの手法が成功するか、失敗するかを理解することが、より強力な継続的学習システムの設計を導くことを願っている。

関連論文リスト

• Nested Learning: The Illusion of Deep Learning Architectures [57.41377373511876]
  我々はNested Learning(NL)と呼ばれる新しい学習パラダイムを提案する。 表現的一般化は、実際には、深い記憶と/またはより強力な学習規則を持つ一般化である。 本稿では、長期記憶の伝統的な視点を一般化するメモリシステムのための新しい連続体を提案する。
  論文  参考訳（メタデータ） (2025-12-31T07:59:43Z)
• Tackling Distribution Shift in LLM via KILO: Knowledge-Instructed Learning for Continual Adaptation [0.35297361401370037]
  大規模言語モデル(LLM)は、ドメインシフトに直面すると、しばしばパフォーマンスの低下に悩まされる。 本稿では,動的知識グラフと命令チューニングを統合した新しい連続学習フレームワークKILOを提案する。
  論文  参考訳（メタデータ） (2025-08-05T15:39:37Z)
• Analytic Subspace Routing: How Recursive Least Squares Works in Continual Learning of Large Language Model [6.42114585934114]
  大規模言語モデル(LLM)には、多様な言語関連タスクを処理できる機能がある。 大規模言語モデル(LLM)における継続的な学習は、LLMを新しいタスクに継続的に適応させることを目的としている。 本稿では,これらの課題に対処するため,ASR(Analytic Subspace Routing)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T13:40:46Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• GrowOVER: How Can LLMs Adapt to Growing Real-World Knowledge? [36.987716816134984]
  本稿では,更新の連続サイクルを経たGrowOVER-QAとGrowOVER-Dialogue,動的オープンドメインQA,ダイアログベンチマークを提案する。 本研究は,検索強化言語モデル(RaLM)が,まだトレーニングされていない知識や最近更新されていない知識に悩まされていることを示唆している。 本稿では,新たな検索対話型言語モデルフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-09T01:16:04Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
  この性質のオンライン問題にメタラーニングを適用する方法について検討する。 タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。 実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2022-02-01T07:51:24Z)
• Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
  グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。 既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。 パターン認識型メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T08:06:47Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。