論文の概要: CASP: Few-Shot Class-Incremental Learning with CLS Token Attention Steering Prompts

• arxiv url: http://arxiv.org/abs/2601.16773v1
• Date: Fri, 23 Jan 2026 14:19:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.715127
• Title: CASP: Few-Shot Class-Incremental Learning with CLS Token Attention Steering Prompts
• Title（参考訳）: CASP: CLS Token Attention Steering Promptによるクラスインクリメンタルラーニング
• Authors: Shuai Huang, Xuhan Lin, Yuwu Lu,
• Abstract要約: FSCIL(Few-shot class-incremental Learning)は、継続的な学習における中核的な課題である。 最近のプロンプトベースの手法は、事前訓練されたバックボーンとタスク固有のプロンプトを統合しており、顕著な進歩を遂げている。 我々は CLS Token Attention Steering Prompts (CASP) を提案する。
• 参考スコア（独自算出の注目度）: 15.650117316903925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot class-incremental learning (FSCIL) presents a core challenge in continual learning, requiring models to rapidly adapt to new classes with very limited samples while mitigating catastrophic forgetting. Recent prompt-based methods, which integrate pretrained backbones with task-specific prompts, have made notable progress. However, under extreme few-shot incremental settings, the model's ability to transfer and generalize becomes critical, and it is thus essential to leverage pretrained knowledge to learn feature representations that can be shared across future categories during the base session. Inspired by the mechanism of the CLS token, which is similar to human attention and progressively filters out task-irrelevant information, we propose the CLS Token Attention Steering Prompts (CASP). This approach introduces class-shared trainable bias parameters into the query, key, and value projections of the CLS token to explicitly modulate the self-attention weights. To further enhance generalization, we also design an attention perturbation strategy and perform Manifold Token Mixup in the shallow feature space, synthesizing potential new class features to improve generalization and reserve the representation capacity for upcoming tasks. Experiments on the CUB200, CIFAR100, and ImageNet-R datasets demonstrate that CASP outperforms state-of-the-art methods in both standard and fine-grained FSCIL settings without requiring fine-tuning during incremental phases and while significantly reducing the parameter overhead.
• Abstract（参考訳）: FSCIL(Few-shot class-incremental Learning)は、モデルが極めて限られたサンプルを持つ新しいクラスに迅速に適応し、破滅的な忘れを軽減し、継続的な学習における中核的な課題を提示する。 最近のプロンプトベースの手法は、事前訓練されたバックボーンとタスク固有のプロンプトを統合しており、顕著な進歩を遂げている。 しかし、極端に数ショットのインクリメンタルな設定の下では、モデルを転送し、一般化する能力が重要になるため、ベースセッション中に将来のカテゴリ間で共有できる特徴表現を学ぶために、事前訓練された知識を活用することが不可欠である。 CLSトークンは,人間の注意に似ており,タスク関連情報を段階的にフィルタリングする機構に着想を得て,CASP(Token Attention Steering Prompts)を提案する。 このアプローチでは、クラス共有のトレーニング可能なバイアスパラメータをCLSトークンのクエリ、キー、バリュープロジェクションに導入し、自己注意重みを明示的に調整する。 一般化をさらに促進するため,我々は,注目摂動戦略を設計し,浅層特徴空間におけるマニフォールド・トケン・ミックスアップを行い,将来的なタスクの一般化と表現能力を確保するために,潜在的な新しいクラス機能を合成する。 CUB200、CIFAR100、ImageNet-Rデータセットの実験では、CASPはインクリメンタルフェーズの微調整を必要とせず、パラメータのオーバーヘッドを大幅に低減しつつ、標準設定ときめ細かなFSCIL設定の両方で最先端のメソッドより優れていることが示されている。

関連論文リスト

• CalFuse: Multi-Modal Continual Learning via Feature Calibration and Parameter Fusion [17.68751409041168]
  クラス・コンチネンタル・ラーニング(CCL)は、歴史データを再考することなく、新たなクラス知識を段階的に取り入れることで、この課題に対処する。 CLIPのようなビジョンランゲージモデル(VLM)の最近の進歩は、事前訓練されたマルチモーダル知識を活用することで、CCLにとって重要な可能性を示している。 本稿では,マルチモーダルな知識統合を実現するために,特徴パラメータFusionを相乗化するフレームワークであるCalFuseを提案する。
  論文  参考訳（メタデータ） (2025-03-24T13:44:12Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [115.79349923044663]
  FSCIL(Few-shot class-incremental Learning)は、限られた例から新しいクラスを段階的に学習することを目的としている。 静的アーキテクチャは固定パラメータ空間に依存して、逐次到着するデータから学習し、現在のセッションに過度に適合する傾向がある。 本研究では,FSCILにおける選択状態空間モデル(SSM)の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model [73.80068155830708]
  予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。 Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。 さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
  論文  参考訳（メタデータ） (2023-03-09T08:57:01Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。