論文の概要: Adapt before Continual Learning

• arxiv url: http://arxiv.org/abs/2506.03956v3
• Date: Thu, 31 Jul 2025 03:04:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 15:10:45.086078
• Title: Adapt before Continual Learning
• Title（参考訳）: 継続的な学習に適応する
• Authors: Aojun Lu, Tao Feng, Hangjie Yuan, Chunhui Ding, Yanan Sun,
• Abstract要約: コアCLプロセス(ACL)の前にPTMを適応させることは、新しいタスクを学習する前にプラグアンドプレイ適応フェーズを導入する新しいフレームワークである。 ACLはベンチマークと統合メソッド間でCL性能を大幅に改善する。
• 参考スコア（独自算出の注目度）: 9.477667054965782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning (CL) seeks to enable neural networks to incrementally acquire new knowledge (plasticity) while retaining existing knowledge (stability). Although pre-trained models (PTMs) have provided a strong foundation for CL, existing approaches face a fundamental challenge in balancing these two competing objectives. Current methods typically address stability by freezing the PTM backbone, which severely limits the model's plasticity, particularly when incoming data distribution diverges largely from the pre-training data. Alternatively, sequentially fine-tuning the entire PTM can adapt to new knowledge but often leads to catastrophic forgetting, highlighting the critical stability-plasticity trade-off in PTM-based CL. To address this limitation, we propose Adapting PTMs before the core CL} process (ACL), a novel framework that introduces a plug-and-play adaptation phase prior to learning each new task. During this phase, ACL refines the PTM backbone by aligning embeddings with their original class prototypes while distancing them from irrelevant classes. This mechanism theoretically and empirically demonstrates desirable balance between stability and plasticity, significantly improving CL performance across benchmarks and integrated methods. Code is available at https://github.com/byyx666/ACL_code.
• Abstract（参考訳）: 継続学習(CL)は、ニューラルネットワークが既存の知識(安定性)を維持しつつ、新たな知識(塑性)を漸進的に取得できるようにすることを目指している。 プレトレーニングモデル(PTM)はCLの強力な基盤となっているが、既存のアプローチはこれらの2つの競合する目標のバランスをとる上で根本的な課題に直面している。 現行の手法では、PTMバックボーンを凍結することで安定性に対処し、特に入力データ分布がトレーニング前のデータと大きく異なる場合、モデルの可塑性を著しく制限する。 あるいは、PTM全体を逐次微調整することは新しい知識に適応できるが、しばしば破滅的な忘れを招き、PTMベースのCLにおける重要な安定性と塑性のトレードオフを浮き彫りにする。 この制限に対処するために、我々は、新しいタスクを学習する前にプラグアンドプレイ適応フェーズを導入する新しいフレームワークであるコアCLプロセス(ACL)の前に、PTMを適応させることを提案する。 このフェーズでは、ACLは組み込みを元のクラスプロトタイプと整列させ、無関係なクラスから分離することで、PTMバックボーンを洗練します。 このメカニズムは、理論上、実験的に安定性と可塑性のバランスを実証し、ベンチマークと統合メソッド間のCL性能を著しく改善する。 コードはhttps://github.com/byyx666/ACL_codeで入手できる。

関連論文リスト

• BECAME: BayEsian Continual Learning with Adaptive Model MErging [21.642774366793997]
  BECAMEという2段階のフレームワークを導入し、勾配予測と適応的マージの専門知識を相乗化する。 我々のアプローチは、最先端のCLメソッドと既存のマージ戦略より優れています。
  論文  参考訳（メタデータ） (2025-04-03T15:07:28Z)
• PTMs-TSCIL Pre-Trained Models Based Class-Incremental Learning [7.784244204592032]
  時系列データのためのクラスインクリメンタルラーニング(CIL)は、新たな知識獲得のための破滅的な忘れと可塑性に対する安定性のバランスをとる上で、課題に直面している。 PTMを用いた時系列クラスインクリメンタルラーニング(TSCIL)の第1回研究について紹介する。
  論文  参考訳（メタデータ） (2025-03-10T10:27:21Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Reflecting on the State of Rehearsal-free Continual Learning with Pretrained Models [63.11967672725459]
  単純かつ軽量なPEFTベースラインによるP-RFCL手法の整合性を示す。 P-RFCL の手法が,単純で軽量な PEFT ベースラインでマッチング可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:57:10Z)
• FeTT: Continual Class Incremental Learning via Feature Transformation Tuning [19.765229703131876]
  継続的学習(CL)は、静的で囲われた環境から動的で複雑なシナリオまで、ディープモデルを拡張することを目的としている。 最近のCLモデルは、パラメータ効率の良い微調整戦略を持つ事前学習モデルの利用に徐々に移行している。 本稿では,すべてのタスクにまたがる非パラメトリック微調整バックボーン機能に対するFeTTモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-20T06:33:50Z)
• Self-Expansion of Pre-trained Models with Mixture of Adapters for Continual Learning [21.19820308728003]
  継続学習(CL)は、学習した知識を壊滅的に忘れることなく、定常的でないデータストリームから継続的に知識を蓄積することを目的としている。 既存の PTM ベースの CL メソッドは、これらのモジュールの固定セットへの制限された適応を使用して、忘れることを避ける。 PTM CL における安定性・塑性バランスの制御を強化する新しい手法である Modularized Adaptation (SEMA) を用いた事前学習モデルの自己拡張を提案する。
  論文  参考訳（メタデータ） (2024-03-27T17:59:21Z)
• Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。 近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
  論文  参考訳（メタデータ） (2023-03-13T17:59:02Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。