論文の概要: Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2407.06136v3
• Date: Fri, 27 Jun 2025 03:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:22.875825
• Title: Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning
• Title（参考訳）: Mamba-FSCIL:Few-Shot Class-Incremental Learningのための選択状態空間モデルによる動的適応
• Authors: Xiaojie Li, Yibo Yang, Jianlong Wu, Yue Yu, Ming-Hsuan Yang, Liqiang Nie, Min Zhang,
• Abstract要約: FSCIL(Few-shot class-incremental Learning)は、限られた例から新しいクラスを段階的に学習することを目的としている。 静的アーキテクチャは固定パラメータ空間に依存して、逐次到着するデータから学習し、現在のセッションに過度に適合する傾向がある。 本研究では,FSCILにおける選択状態空間モデル(SSM)の可能性について検討する。
• 参考スコア（独自算出の注目度）: 115.79349923044663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot class-incremental learning (FSCIL) aims to incrementally learn novel classes from limited examples while preserving knowledge of previously learned classes. Existing methods face a critical dilemma: static architectures rely on a fixed parameter space to learn from data that arrive sequentially, prone to overfitting to the current session, while dynamic architectures require the expansion of the parameter space continually, leading to increased complexity. In this study, we explore the potential of Selective State Space Models (SSMs) for FSCIL. Mamba leverages its input-dependent parameters to dynamically adjust its processing patterns and generate content-aware scan patterns within a fixed architecture. This enables it to configure distinct processing for base and novel classes, effectively preserving existing knowledge while adapting to new ones. To leverage Mamba's potential for FSCIL, we design two key modules: First, we propose a dual selective SSM projector that dynamically adjusts the projection parameters based on the intermediate features for dynamic adaptation. The dual-design structurally decouples base and novel class processing with a frozen base branch, employing a frozen base branch to maintain robust base-class features and a dynamic incremental branch that adaptively learns distinctive feature shifts for novel classes. Second, we develop a class-sensitive selective scan mechanism to guide dynamic adaptation of the incremental branch. It minimizes the disruption to base-class representations caused by training on novel data, and meanwhile, forces the selective scan to perform in distinct patterns between base and novel classes. Extensive experiments on miniImageNet, CUB-200, and CIFAR-100 demonstrate that Mamba-FSCIL achieves state-of-the-art performance. The code is available at https://github.com/xiaojieli0903/Mamba-FSCIL.
• Abstract（参考訳）: FSCIL (Few-shot class-incremental Learning) は、学習前の授業の知識を維持しつつ、限られた例から新しいクラスを段階的に学習することを目的としている。 静的アーキテクチャは、逐次到着するデータから学ぶために固定パラメータ空間に依存し、現在のセッションに過度に適合する傾向があり、動的アーキテクチャはパラメータ空間の継続的な拡張を必要とし、複雑さが増大する。 本研究では,FSCILにおける選択状態空間モデル(SSM)の可能性について検討する。 Mambaは入力依存パラメータを利用して、その処理パターンを動的に調整し、固定アーキテクチャ内でコンテンツ認識スキャンパターンを生成する。 これにより、ベースクラスと新規クラスの異なる処理を設定することができ、新しいクラスに適応しながら、既存の知識を効果的に保存することができる。 まず、動的適応のための中間機能に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。 二重設計は、構造的にベースと新しいクラス処理を凍結されたベースブランチで分離し、凍ったベースブランチを使用して堅牢なベースクラスの特徴を維持し、新しいクラスの特徴シフトを適応的に学習する動的インクリメンタルブランチを使用する。 第2に,増分枝の動的適応を誘導するクラス感受性選択的スキャン機構を開発する。 これは、新しいデータによるトレーニングによるベースクラス表現の中断を最小限に抑え、一方、選択スキャンはベースクラスと新規クラスの異なるパターンで実行するよう強制する。 miniImageNet, CUB-200, CIFAR-100 の大規模な実験により, Mamba-FSCIL が最先端の性能を発揮することが示された。 コードはhttps://github.com/xiaojieli0903/Mamba-FSCILで入手できる。

関連論文リスト

• Enhancing Online Continual Learning with Plug-and-Play State Space Model and Class-Conditional Mixture of Discretization [72.81319836138347]
  オンライン連続学習(OCL)は、以前に学習したタスクの知識を保持しながら、一度だけ現れるデータストリームから新しいタスクを学習することを目指している。 既存の方法の多くはリプレイに依存しており、正規化や蒸留によるメモリ保持の強化に重点を置いている。 既存のほとんどのメソッドに組み込むことができ、適応性を直接改善できるプラグイン・アンド・プレイモジュールであるS6MODを導入する。
  論文  参考訳（メタデータ） (2024-12-24T05:25:21Z)
• Collaborative Static-Dynamic Teaching: A Semi-Supervised Framework for Stripe-Like Space Target Detection [2.9133687889451023]
  Stripeのような宇宙ターゲット検出は、宇宙の状況認識に不可欠である。 従来の教師なし手法は、低信号対雑音比と可変ストライプのような空間ターゲットシナリオで失敗することが多い。 我々は,静的および動的教師モデルと学生モデルを含む,革新的な協調静的動的教師(CSDT)SSLフレームワークを導入する。 また,マルチスケールデュアルパス畳み込み(MDPC)ブロックと特徴マップ重み付き注目(FMWA)ブロックを備えた新しいSSTDネットワークであるMSSA-Netを提案する。
  論文  参考訳（メタデータ） (2024-08-09T12:33:27Z)
• Dynamic Feature Learning and Matching for Class-Incremental Learning [20.432575325147894]
  CIL(Class-incremental Learning)は,従来のクラスを破滅的に忘れることなく,新しいクラスを学習する方法として登場した。 本稿では,動的特徴学習とマッチング(DFLM)モデルを提案する。 提案手法は既存手法に比べて大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-05-14T12:17:19Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Online Calibration of Deep Learning Sub-Models for Hybrid Numerical Modeling Systems [34.50407690251862]
  本稿では,ハイブリッドシステムのための効率的かつ実用的なオンライン学習手法を提案する。 オイラー勾配近似(Euler Gradient Approximation)のEGA(Euler Gradient Approximation)と呼ばれる手法は、無限に小さな時間ステップの極限における正確な勾配に収束することを示した。 その結果、オフライン学習よりも大幅に改善され、ハイブリッドモデリングにおけるエンド・ツー・エンドのオンライン学習の可能性を強調した。
  論文  参考訳（メタデータ） (2023-11-17T17:36:26Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Incremental Few-Shot Learning via Implanting and Compressing [13.122771115838523]
  増分的なFew-Shot Learningは、いくつかの例から新しいクラスを継続的に学習するモデルを必要とする。 我々はtextbfImplanting と textbfCompressing と呼ばれる2段階の学習戦略を提案する。 具体的には、textbfImplantingのステップにおいて、新しいクラスのデータ分布をデータ・アサンダント・ベース・セットの助けを借りて模倣することを提案する。 textbfのステップでは、特徴抽出器を各新規クラスを正確に表現し、クラス内コンパクト性を高める。
  論文  参考訳（メタデータ） (2022-03-19T11:04:43Z)
• Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning [137.39196753245105]
  本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。 文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。 提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
  論文  参考訳（メタデータ） (2020-10-26T03:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。