論文の概要: Sculpting [CLS] Features for Pre-Trained Model-Based Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2502.14762v1
- Date: Thu, 20 Feb 2025 17:37:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-21 14:28:51.359246
- Title: Sculpting [CLS] Features for Pre-Trained Model-Based Class-Incremental Learning
- Title（参考訳）: 事前学習モデルに基づくクラスインクリメンタル学習のためのSculpting[CLS]機能
- Authors: Murat Onur Yildirim, Elif Ceren Gok Yildirim, Joaquin Vanschoren,
- Abstract要約: クラス増分学習は、古いクラスを忘れることなく、新しいクラスの知識を継続的に獲得するモデルを必要とする。
事前学習されたモデルは、クラス増分学習において強い性能を示してきたが、新しい概念を学ぶ際に破滅的な忘れをしがちである。
本稿では,新しいパラメータ効率の高い微調整モジュール「Learn and Calibrate」 (LuCA) を導入する。
各学習セッションで、最後のトークンの上にスパースLuCAモジュールをデプロイし、それを'Token-level Sparse and Adaptation'(TO)と呼ぶ。
- 参考スコア（独自算出の注目度）: 3.73232466691291
- License:
- Abstract: Class-incremental learning requires models to continually acquire knowledge of new classes without forgetting old ones. Although pre-trained models have demonstrated strong performance in class-incremental learning, they remain susceptible to catastrophic forgetting when learning new concepts. Excessive plasticity in the models breaks generalizability and causes forgetting, while strong stability results in insufficient adaptation to new classes. This necessitates effective adaptation with minimal modifications to preserve the general knowledge of pre-trained models. To address this challenge, we first introduce a new parameter-efficient fine-tuning module 'Learn and Calibrate', or LuCA, designed to acquire knowledge through an adapter-calibrator couple, enabling effective adaptation with well-refined feature representations. Second, for each learning session, we deploy a sparse LuCA module on top of the last token just before the classifier, which we refer to as 'Token-level Sparse Calibration and Adaptation', or TOSCA. This strategic design improves the orthogonality between the modules and significantly reduces both training and inference complexity. By leaving the generalization capabilities of the pre-trained models intact and adapting exclusively via the last token, our approach achieves a harmonious balance between stability and plasticity. Extensive experiments demonstrate TOSCA's state-of-the-art performance while introducing ~8 times fewer parameters compared to prior methods.
- Abstract（参考訳）: クラス増分学習は、古いクラスを忘れることなく、新しいクラスの知識を継続的に獲得するモデルを必要とする。
事前学習されたモデルは、クラス増分学習において強い性能を示してきたが、新しい概念を学ぶ際に破滅的な忘れをしがちである。
モデルにおける過剰な可塑性は一般化性を破り忘れを引き起こすが、強い安定性は新しいクラスへの適応に不十分をもたらす。
これは、事前訓練されたモデルの一般的な知識を維持するために、最小限の変更による効果的な適応を必要とする。
この課題に対処するために、我々はまず、パラメータ効率の良い微調整モジュール'Learn and Calibrate' (LuCA)を導入する。
第二に、各学習セッションでは、分類器の直前にスパースLuCAモジュールを最後のトークンの上に配置します。
この戦略的設計はモジュール間の直交性を改善し、トレーニングと推論の複雑さを著しく低減する。
事前学習したモデルの一般化能力をそのまま残し、最後のトークンを通してのみ適応させることで、安定性と可塑性の調和性を達成できる。
大規模な実験では、TOSCAの最先端性能を実証し、従来の手法に比べて約8倍のパラメータを導入している。
関連論文リスト
- Class-Incremental Learning with CLIP: Adaptive Representation Adjustment and Parameter Fusion [10.322832012497722]
クラス増分学習(class-incremental learning)は難しい問題であり、目標は、時間とともに増加するクラスからデータを分類できるモデルをトレーニングすることである。
CLIPのような視覚言語で事前訓練されたモデルの進歩により、彼らは優れた一般化能力を示した。
しかし、単にモデルを微調整することで、下流タスクへのさらなる適応は、ひどく忘れてしまう。
事前訓練されたモデルを用いた既存の研究の多くは、モデルが新しい知識を得るとき、古いクラスを忘れることは一様であると仮定している。
論文 参考訳（メタデータ） (2024-07-19T09:20:33Z) - Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。
従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。
本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
論文 参考訳（メタデータ） (2024-07-08T17:09:39Z) - Semantically-Shifted Incremental Adapter-Tuning is A Continual ViTransformer [44.10678347943115]
クラスインクリメンタルラーニング(CIL)は、モデルが破滅的な忘れを克服しつつ、新しいクラスを継続的に学習できるようにすることを目的としている。
本稿では,連続学習の文脈において,異なるパラメータ効率チューニング(PET)手法を再検討する。
適応チューニングは,各学習セッションにおいてパラメータ拡張がなくても,プロンプトベースの手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-29T05:23:12Z) - Meta-Learned Attribute Self-Interaction Network for Continual and
Generalized Zero-Shot Learning [46.6282595346048]
ゼロショット学習(ZSL)は、トレーニング中のカテゴリーを見えないものに一般化するための有望なアプローチである。
連続的なZSLのためのMAIN(Meta-learned Attribute Self-Interaction Network)を提案する。
メタラーニングと属性エンコーダの逆正則化を用いて学習した属性をペアリングすることで、未知のクラス属性を活用することなく、最先端の成果を達成できる。
論文 参考訳（メタデータ） (2023-12-02T16:23:01Z) - Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。
いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
論文 参考訳（メタデータ） (2023-10-31T10:45:03Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳（メタデータ） (2023-06-21T05:26:28Z) - SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。
本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。
CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2023-05-09T05:04:35Z) - On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。
本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
論文 参考訳（メタデータ） (2023-04-04T09:34:14Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳（メタデータ） (2022-11-10T05:29:43Z) - Towards Sustainable Self-supervised Learning [193.78876000005366]
本稿では,既存のマスク再構成ベースのSSLに2つのコンポーネントを導入し,Target-Enhanced Conditional (TEC)方式を提案する。
まず、ベースモデルから与えられたターゲットを強化するパッチリレーション強化ターゲットを提案し、ベースモデルからセマンティックリレーション知識を学ぶことを奨励する。
次に、新しいモデル予測を適応的に調整し、異なるベースモデルのターゲットに合わせる条件付きアダプタを提案する。
論文 参考訳（メタデータ） (2022-10-20T04:49:56Z) - Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot
Learning [82.07273754143547]
トレーニング中に見られないカテゴリにモデルを一般化するためのメタ連続ゼロショット学習(MCZSL)アプローチを提案する。
属性の自己決定とスケールしたクラス正規化をメタラーニングベースのトレーニングと組み合わせることで、最先端の成果を上回ることができるのです。
論文 参考訳（メタデータ） (2021-02-23T18:36:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。