論文の概要: Continual Learning of Achieving Forgetting-free and Positive Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2601.05623v1
• Date: Fri, 09 Jan 2026 08:27:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.911091
• Title: Continual Learning of Achieving Forgetting-free and Positive Knowledge Transfer
• Title（参考訳）: 予測自由・肯定的知識伝達の継続的な学習
• Authors: Zhi Wang, Zhongbin Wu, Yanni Li, Bing Liu, Guangxi Li, Yuping Wang,
• Abstract要約: 理想的な連続学習エージェントは、破滅的な忘れ(CF)を克服できるだけでなく、前向きと後向きの知識伝達(KT)を促進する必要がある。 本稿ではまず,各逐次学習課題がFKTとBKTの両方が正であることの制約の下で,その最適性能を達成するための最適化問題としてCLをモデル化する。 次に, 誤りのない, 肯定的なKTを実現するETCL法を提案する。
• 参考スコア（独自算出の注目度）: 12.245360561698503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing research on continual learning (CL) of a sequence of tasks focuses mainly on dealing with catastrophic forgetting (CF) to balance the learning plasticity of new tasks and the memory stability of old tasks. However, an ideal CL agent should not only be able to overcome CF, but also encourage positive forward and backward knowledge transfer (KT), i.e., using the learned knowledge from previous tasks for the new task learning (namely FKT), and improving the previous tasks' performance with the knowledge of the new task (namely BKT). To this end, this paper first models CL as an optimization problem in which each sequential learning task aims to achieve its optimal performance under the constraint that both FKT and BKT should be positive. It then proposes a novel Enhanced Task Continual Learning (ETCL) method, which achieves forgetting-free and positive KT. Furthermore, the bounds that can lead to negative FKT and BKT are estimated theoretically. Based on the bounds, a new strategy for online task similarity detection is also proposed to facilitate positive KT. To overcome CF, ETCL learns a set of task-specific binary masks to isolate a sparse sub-network for each task while preserving the performance of a dense network for the task. At the beginning of a new task learning, ETCL tries to align the new task's gradient with that of the sub-network of the previous most similar task to ensure positive FKT. By using a new bi-objective optimization strategy and an orthogonal gradient projection method, ETCL updates only the weights of previous similar tasks at the classification layer to achieve positive BKT. Extensive evaluations demonstrate that the proposed ETCL markedly outperforms strong baselines on dissimilar, similar, and mixed task sequences.
• Abstract（参考訳）: 一連のタスクの継続学習(CL)に関する研究は、主に破滅的忘れ(CF)を扱うことに焦点を当て、新しいタスクの学習の可塑性と古いタスクの記憶安定性のバランスをとる。 しかし、理想的なCLエージェントはCFを克服できるだけでなく、前向きおよび後向きの知識伝達(KT)を促進する必要がある。 そこで本論文では,まず,FKTとBKTの両方が正であることの制約の下で,各逐次学習課題が最適性能を達成するための最適化問題としてCLをモデル化する。 次に, 誤りのない, 肯定的なKTを実現するETCL法を提案する。 さらに、負のFKTとBKTにつながる境界を理論的に推定する。 これらの制約に基づき、オンラインタスク類似度検出のための新しい戦略も提案され、肯定的なKTが促進される。 CFを克服するために、ETCLはタスク固有のバイナリマスクの集合を学習し、タスクの高密度ネットワークの性能を維持しながら、タスクごとにスパースサブネットワークを分離する。 新しいタスク学習の開始時に、ETCLは、新しいタスクの勾配を以前の最も類似したタスクのサブネットワークの勾配と整合させて、肯定的なFKTを保証する。 新しい双目的最適化戦略と直交勾配投影法を用いることで、ETCLは分類層における以前の類似タスクの重みだけを更新し、正のBKTを達成する。 広範囲な評価の結果,ETCLは相似性,類似性,混在性を有するタスクシーケンスにおいて,強いベースラインを著しく上回ることがわかった。

関連論文リスト

• PLAN: Proactive Low-Rank Allocation for Continual Learning [7.694497522179355]
  継続的な学習(CL)には、過去の知識を忘れずに新しいタスクに継続的に適応するモデルが必要である。 PLANは、Low-Rank Adaptation (LoRA)を拡張して、CL設定で大規模トレーニング済みモデルの効率的かつ干渉対応の微調整を可能にするフレームワークである。
  論文  参考訳（メタデータ） (2025-10-24T06:37:41Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• CODE-CL: Conceptor-Based Gradient Projection for Deep Continual Learning [6.738409533239947]
  深層ニューラルネットワークは、タスクを逐次学習する際に破滅的な忘れに苦しむ。 最近のアプローチでは、勾配投影を用いた部分空間の更新が制限されている。 本稿では,Deep Continual Learning (CODE-CL) のための概念ベース勾配予測法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T22:31:06Z)
• Sub-network Discovery and Soft-masking for Continual Learning of Mixed Tasks [46.96149283885802]
  本稿では,CFおよび/または制限KTを克服する新しいCL法を提案する。 サブネットワークを発見して各タスクの知識を分離することでCFを克服する。 従来の知識を保存し、新しいタスクが過去の知識を活用してKTを達成できるようにするため、ソフトマスキング機構も提案されている。
  論文  参考訳（メタデータ） (2023-10-13T23:00:39Z)
• Defeating Catastrophic Forgetting via Enhanced Orthogonal Weights Modification [8.091211518374598]
  本稿では,新しい学習課題の重み勾配が,新たな学習課題の入力空間と,学習課題の重み空間とによって連続的に決定されることを示す。 本稿では,拡張OWMによる効率的かつ効果的な連続学習手法であるEOWMを提案する。
  論文  参考訳（メタデータ） (2021-11-19T07:40:48Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。