論文の概要: Adapt before Continual Learning

• arxiv url: http://arxiv.org/abs/2506.03956v1
• Date: Wed, 04 Jun 2025 13:46:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.362147
• Title: Adapt before Continual Learning
• Title（参考訳）: 継続的な学習に適応する
• Authors: Aojun Lu, Tao Feng, Hangjie Yuan, Chunhui Ding, Yanan Sun,
• Abstract要約: 我々は,既存のCLアプローチで各タスクを学習する前に,プラグイン・アンド・プレイ適応フェーズを通じてPTMのバックボーンを洗練する新しいフレームワークであるコアCLプロセス(ACL)の前に,PTMを適応させることを提案する。 ACLは、埋め込みを元のクラスプロトタイプと整列させ、他のクラスと距離を置き、理論上、実験的に安定性と可塑性のバランスを保ち、可塑性を高める。
• 参考スコア（独自算出の注目度）: 9.477667054965782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning (CL) seeks to enable neural networks to incrementally acquire new knowledge (plasticity) while retaining existing knowledge (stability). While pre-trained models (PTMs) have become pivotal in CL, prevailing approaches freeze the PTM backbone to preserve stability, limiting their plasticity, particularly when encountering significant domain gaps in incremental tasks. Conversely, sequentially finetuning the entire PTM risks catastrophic forgetting of generalizable knowledge, exposing a critical stability-plasticity trade-off. To address this challenge, we propose Adapting PTMs before the core CL process (ACL), a novel framework that refines the PTM backbone through a plug-and-play adaptation phase before learning each new task with existing CL approaches (e.g., prompt tuning). ACL enhances plasticity by aligning embeddings with their original class prototypes while distancing them from others, theoretically and empirically shown to balance stability and plasticity. Extensive experiments demonstrate that ACL significantly improves CL performance across benchmarks and integrated methods, offering a versatile solution for PTM-based CL.
• Abstract（参考訳）: 継続学習(CL)は、ニューラルネットワークが既存の知識(安定性)を維持しつつ、新たな知識(塑性)を漸進的に取得できるようにすることを目指している。 プレトレーニングモデル(PTM)はCLにおいて重要な役割を担っているが、特に漸進的なタスクにおいて重要なドメインギャップに直面する場合、安定性を保ち、その可塑性を制限するためにPTMバックボーンを凍結するアプローチが主流である。 逆に、PTM全体を逐次微調整すると、一般化可能な知識の破滅的な忘れがちになり、重要な安定性と塑性のトレードオフが露呈する。 この課題に対処するために、我々は、既存のCLアプローチ(即時チューニングなど)で各タスクを学習する前に、プラグイン・アンド・プレイ適応フェーズを通じてPTMバックボーンを洗練する新しいフレームワークであるコアCLプロセス(ACL)の前に、PTMを適応させることを提案する。 ACLは、埋め込みを元のクラスプロトタイプと整列させ、他のクラスと距離を置き、理論上、実験的に安定性と可塑性のバランスを保ち、可塑性を高める。 大規模な実験により、ACLはベンチマークと統合メソッド間でCL性能を著しく改善し、PTMベースのCLに汎用的なソリューションを提供することが示された。

関連論文リスト

• BECAME: BayEsian Continual Learning with Adaptive Model MErging [21.642774366793997]
  BECAMEという2段階のフレームワークを導入し、勾配予測と適応的マージの専門知識を相乗化する。 我々のアプローチは、最先端のCLメソッドと既存のマージ戦略より優れています。
  論文  参考訳（メタデータ） (2025-04-03T15:07:28Z)
• PTMs-TSCIL Pre-Trained Models Based Class-Incremental Learning [7.784244204592032]
  時系列データのためのクラスインクリメンタルラーニング(CIL)は、新たな知識獲得のための破滅的な忘れと可塑性に対する安定性のバランスをとる上で、課題に直面している。 PTMを用いた時系列クラスインクリメンタルラーニング(TSCIL)の第1回研究について紹介する。
  論文  参考訳（メタデータ） (2025-03-10T10:27:21Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Reflecting on the State of Rehearsal-free Continual Learning with Pretrained Models [63.11967672725459]
  単純かつ軽量なPEFTベースラインによるP-RFCL手法の整合性を示す。 P-RFCL の手法が,単純で軽量な PEFT ベースラインでマッチング可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:57:10Z)
• FeTT: Continual Class Incremental Learning via Feature Transformation Tuning [19.765229703131876]
  継続的学習(CL)は、静的で囲われた環境から動的で複雑なシナリオまで、ディープモデルを拡張することを目的としている。 最近のCLモデルは、パラメータ効率の良い微調整戦略を持つ事前学習モデルの利用に徐々に移行している。 本稿では,すべてのタスクにまたがる非パラメトリック微調整バックボーン機能に対するFeTTモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-20T06:33:50Z)
• Self-Expansion of Pre-trained Models with Mixture of Adapters for Continual Learning [21.19820308728003]
  継続学習(CL)は、学習した知識を壊滅的に忘れることなく、定常的でないデータストリームから継続的に知識を蓄積することを目的としている。 既存の PTM ベースの CL メソッドは、これらのモジュールの固定セットへの制限された適応を使用して、忘れることを避ける。 PTM CL における安定性・塑性バランスの制御を強化する新しい手法である Modularized Adaptation (SEMA) を用いた事前学習モデルの自己拡張を提案する。
  論文  参考訳（メタデータ） (2024-03-27T17:59:21Z)
• Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。 近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
  論文  参考訳（メタデータ） (2023-03-13T17:59:02Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。