論文の概要: Turning Back Without Forgetting: Selective Backward Refinement for Parameter-Efficient Continual Learning

• arxiv url: http://arxiv.org/abs/2606.01379v2
• Date: Sun, 07 Jun 2026 14:03:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:04.766797
• Title: Turning Back Without Forgetting: Selective Backward Refinement for Parameter-Efficient Continual Learning
• Title（参考訳）: 留意せずに振り返る:パラメータ効率のよい連続学習のための選択的後方修正
• Authors: Anushka Tiwari, Kaiyi Ji,
• Abstract要約: 本稿では,プロンプトベース連続学習における逆転送制御を実現するリプレイフリーフレームワークを提案する。 SABERは、補完的なタスク相関基準を用いて、後方修正が有効であるかどうかを決定する。 複数の連続学習ベンチマークと、T5-Large、LLaMA、Qwenを含む様々な事前訓練されたバックボーンに対する実験は、SABERが常にポジティブな後方転送を実現することを実証している。
• 参考スコア（独自算出の注目度）: 22.058497718429518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While prompt-based parameter-efficient continual learning mitigates catastrophic forgetting by isolating task-specific prompts, this isolation also limits later tasks from improving earlier ones, leaving backward knowledge transfer underexplored. We address this limitation by proposing Selective bAckward refinement for positive Backward knowledge transfER (SABER), a replay-free framework that enables controlled backward transfer in prompt-based continual learning. SABER determines when backward refinement is beneficial using complementary task-correlation criteria based on prompt-gradient geometry and loss-distribution similarity, and how to perform refinement safely by restricting updates to non-interfering directions in the prompt parameter space. Extensive experiments across multiple continual learning benchmarks and diverse pretrained backbones, including T5-Large, LLaMA, and Qwen, demonstrate that SABER consistently achieves positive backward transfer while maintaining strong overall average performance. Code is available at https://github.com/OptMN-Lab/SABER-ICML-2026/.
• Abstract（参考訳）: プロンプトに基づくパラメータ効率の連続学習は、タスク固有のプロンプトを分離することで破滅的な忘れを緩和するが、この分離は、後続のタスクが以前のタスクを改善することを制限し、後方からの知識伝達を過小評価している。 本稿では,この制限に対処するため,Selective bAckward refinement for positive backward knowledge transfER (SABER)を提案する。 SABERは、プロンプト勾配幾何学と損失分布類似性に基づいて、補完的なタスク相関基準を用いて、後方修正が有効であるかどうかを判断し、プロンプトパラメータ空間における非干渉方向への更新を制限することにより、安全に改善を行う方法について検討する。 複数の連続学習ベンチマークと、T5-Large、LLaMA、Qwenを含む様々な事前訓練されたバックボーンに対する広範な実験は、SABERが高い全体的な平均性能を維持しながら、常にポジティブな後方転送を実現することを実証している。 コードはhttps://github.com/OptMN-Lab/SABER-ICML-2026/で入手できる。

関連論文リスト

• Task Switching Without Forgetting via Proximal Decoupling [43.88767637201092]
  継続的な学習において、最大の課題は、古い知識を忘れずに新しい情報を学ぶことである。 一般的な解決策は、このトレードオフを正規化を通じて解決し、以前のタスクに不可欠なパラメータの変更を罰する。 本稿では,作業者の分割によるタスク学習と安定性の強化を分離するアプローチを提案する。
  論文  参考訳（メタデータ） (2026-04-20T21:28:13Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• In-Context Reinforcement Learning through Bayesian Fusion of Context and Value Prior [53.21550098214227]
  テキスト内強化学習は、パラメータを更新せずに、目に見えない環境への高速な適応を約束する。 本研究では,ベイズ ICRL 法である SPICE を導入し,その事前値を深層アンサンブルで学習し,テスト時に更新する。 本研究は,SPICEが準最適軌道のみに事前訓練した場合でも,帯域幅と有限水平MDPの両方において,後悔と最適動作を達成できることを証明した。
  論文  参考訳（メタデータ） (2026-01-06T13:41:31Z)
• Dynamic Mixture of Progressive Parameter-Efficient Expert Library for Lifelong Robot Learning [64.88132446226474]
  ジェネラリストエージェントは生涯を通じて継続的に学び、適応し、忘れを最小化しながら効率的な転送を実現する必要がある。 従来の研究は、シングルタスク適応のためのパラメータ効率の良い微調整を探索し、少数のパラメータで凍結事前訓練されたモデルを効果的に操る。 本稿では,生涯にわたるロボット学習のためのDMPEL(Dynamic Mixture of Progressive Efficient Expert Library)を提案する。
  論文  参考訳（メタデータ） (2025-06-06T11:13:04Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Beyond Anti-Forgetting: Multimodal Continual Instruction Tuning with Positive Forward Transfer [21.57847333976567]
  MCIT(Multimodal Continual Instruction Tuning)は、Multimodal Large Language Models(MLLM)が、高価なリトレーニングなしで継続的な要求を満たすことを可能にする。 MCITは、破滅的な忘れ(古い知識が忘れられている)と負の転送という2つの大きな障害に直面している。 本稿では,これらの問題に対処するため,Pwd-Prompt Forward Transfer(Pwd-Prompt)を用いたPrompt Tuningを提案する。
  論文  参考訳（メタデータ） (2024-01-17T12:44:17Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。