論文の概要: Beyond Retention: Orchestrating Structural Safety and Plasticity in Continual Learning for LLMs

• arxiv url: http://arxiv.org/abs/2601.18255v1
• Date: Mon, 26 Jan 2026 08:28:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.740043
• Title: Beyond Retention: Orchestrating Structural Safety and Plasticity in Continual Learning for LLMs
• Title（参考訳）: LLMの継続的な学習における構造的安全性と塑性のオーケストレーション
• Authors: Fei Meng,
• Abstract要約: 経験リプレイ(ER)は破滅的忘れに対する標準的な対策である。 ERはコード生成のような脆弱で構造化されたドメインに対して負の転送を引き起こす。 我々は,確立した知識構造に対する数学的根拠を持つ「安全保証」として,オルソゴン部分空間ウェイクアップ(OSW)を提案する。
• 参考スコア（独自算出の注目度）: 2.5202137607634407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning in Large Language Models (LLMs) faces the critical challenge of balancing stability (retaining old knowledge) and plasticity (learning new tasks). While Experience Replay (ER) is a standard countermeasure against catastrophic forgetting, its impact across diverse capabilities remains underexplored. In this work, we uncover a critical dichotomy in ER's behavior: while it induces positive backward transfer on robust, unstructured tasks (e.g., boosting performance on previous NLP classification tasks through repeated rehearsal), it causes severe negative transfer on fragile, structured domains like code generation (e.g., a significant relative drop in coding accuracy). This reveals that ER trades structural integrity for broad consolidation. To address this dilemma, we propose \textbf{Orthogonal Subspace Wake-up (OSW)}. OSW identifies essential parameter subspaces of previous tasks via a brief "wake-up" phase and enforces orthogonal updates for new tasks, providing a mathematically grounded "safety guarantee" for established knowledge structures. Empirical results across a diverse four-task sequence demonstrate that OSW uniquely succeeds in preserving fragile coding abilities where Replay fails, while simultaneously maintaining high plasticity for novel tasks. Our findings emphasize the necessity of evaluating structural safety alongside average retention in LLM continual learning.
• Abstract（参考訳）: 大規模言語モデル(LLM)における継続的な学習は、安定性(古い知識の保持)と可塑性(新しいタスクの学習)のバランスをとるという重要な課題に直面します。 Experience Replay (ER) は破滅的な忘れ方に対する標準的な対策であるが、様々な能力に対する影響は未解明のままである。 本研究では、ERの動作における重要な二分法を明らかにする: 頑健で非構造化タスク(例えば、繰り返しリハーサルによって以前のNLP分類タスクのパフォーマンスを向上する)に対する正の逆転を誘導する一方で、コード生成のような脆弱で構造化されたドメイン(例えば、コーディング精度の大幅な相対的な低下)に対して重大な負の移動を引き起こす。 これは、ERが広い統合のために構造的整合性を交換していることを示している。 このジレンマに対処するため、我々は \textbf{Orthogonal Subspace Wake-up (OSW)} を提案する。 OSWは、簡単な「覚醒」フェーズを通じて以前のタスクの必須パラメータ部分空間を特定し、新しいタスクの直交更新を強制し、確立された知識構造に対して数学的に根拠付けられた「安全保証」を提供する。 多様な4タスクシーケンスにまたがる実証的な結果は、OSWがReplayが失敗する脆弱なコーディング能力を保ちながら、新しいタスクに対して高い可塑性を維持しながら、ユニークな成功をおさめていることを示している。 本研究は,LLM連続学習における構造的安全性と平均保持性を評価することの必要性を強調した。

関連論文リスト

• Retrofit: Continual Learning with Bounded Forgetting for Security Applications [25.185616916987158]
  本稿では,データ振り返りのない連続学習手法であるRETROFITを提案する。 干渉を軽減するために、独立部分空間にパラメータ変化を限定する低ランクかつスパースな更新を適用する。 時間的ドリフト下でのマルウェア検出では、CLベースラインよりも20.2%から38.6%の保持スコアが大幅に向上し、新しいデータに対するオラクルの上限を超える。
  論文  参考訳（メタデータ） (2025-11-14T16:07:03Z)
• Task-Agnostic Federated Continual Learning via Replay-Free Gradient Projection [23.99793728516052]
  フェデレートされた連続学習(FCL)により、分散クライアントデバイスは、多様で進化するタスクにわたるストリーミングデータから学習することができる。 タスク識別予測(FedProTIP)を用いた連立勾配予測型連続学習を提案する。 このフレームワークは、クライアントのアップデートをグローバルモデルの以前に学習された表現によって分散されたサブスペースの補空間に投影することで、忘れを軽減します。
  論文  参考訳（メタデータ） (2025-09-25T21:20:00Z)
• Learning without Isolation: Pathway Protection for Continual Learning [64.3476595369537]
  ディープネットワークは、シーケンシャルなタスク学習中に破滅的な忘れをしがちだ。 モデル融合をグラフマッチングとして定式化する新しいCLフレームワークLwIを提案する。 深層ネットワークにおける活性化チャネルの広がりにより、LwIは新しいタスクのために利用可能な経路を適応的に割り当て、経路保護を実現し、破滅的な忘れに対処することができる。
  論文  参考訳（メタデータ） (2025-05-24T07:16:55Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• Consistency is the key to further mitigating catastrophic forgetting in continual learning [14.674494335647841]
  Experience Replay (ER) は低バッファ状態と長いタスクシーケンスではうまく動作しない。 ソフトターゲットの予測における一貫性は、ERが以前のタスクに関連する情報を保存するのに役立つ。 自己教師付きプレテキストタスクとして整合性正規化をキャストすることを提案する。
  論文  参考訳（メタデータ） (2022-07-11T16:44:49Z)
• Unsupervised Continual Learning via Self-Adaptive Deep Clustering Approach [20.628084936538055]
  本稿では,自己適応型深層学習者(KIERA)の知識保持について述べる。 KIERAは、弾力性のあるネットワーク構造を持つフレキシブル・ディープ・クラスタリング・アプローチの概念から開発され、時間的に変化する環境に対処する。
  論文  参考訳（メタデータ） (2021-06-28T10:37:14Z)
• Iterative Network Pruning with Uncertainty Regularization for Lifelong Sentiment Classification [25.13885692629219]
  ディープラーニングにとって、生涯学習は簡単ではない。 本稿では,生涯的感情分類のための不確実性正則化手法を用いた新しい反復型ネットワークプルーニングを提案する。
  論文  参考訳（メタデータ） (2021-06-21T15:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。