Fugu-MT 論文翻訳(概要): Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

論文の概要: Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

arxiv url: http://arxiv.org/abs/2407.06136v1
Date: Mon, 8 Jul 2024 17:09:39 GMT
ステータス: 処理完了
システム内更新日: 2024-07-09 14:40:07.167981
Title: Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning
Title（参考訳）: Mamba-FSCIL:Few-Shot Class-Incremental Learningのための選択状態空間モデルによる動的適応
Authors: Xiaojie Li, Yibo Yang, Jianlong Wu, Bernard Ghanem, Liqiang Nie, Min Zhang,
Abstract要約: FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。動的適応を誘導するクラス感受性選択的スキャン機構を開発した。 miniImageNet, CUB-200, CIFAR-100 の実験により,我々のフレームワークは既存の最先端手法よりも優れていることが示された。
参考スコア（独自算出の注目度）: 113.89327264634984
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Few-shot class-incremental learning (FSCIL) confronts the challenge of integrating new classes into a model with minimal training samples while preserving the knowledge of previously learned classes. Traditional methods widely adopt static adaptation relying on a fixed parameter space to learn from data that arrive sequentially, prone to overfitting to the current session. Existing dynamic strategies require the expansion of the parameter space continually, leading to increased complexity. To address these challenges, we integrate the recently proposed selective state space model (SSM) into FSCIL. Concretely, we propose a dual selective SSM projector that dynamically adjusts the projection parameters based on the intermediate features for dynamic adaptation. The dual design enables the model to maintain the robust features of base classes, while adaptively learning distinctive feature shifts for novel classes. Additionally, we develop a class-sensitive selective scan mechanism to guide dynamic adaptation. It minimizes the disruption to base-class representations caused by training on novel data, and meanwhile, forces the selective scan to perform in distinct patterns between base and novel classes. Experiments on miniImageNet, CUB-200, and CIFAR-100 demonstrate that our framework outperforms the existing state-of-the-art methods. The code is available at https://github.com/xiaojieli0903/Mamba-FSCIL.
Abstract（参考訳）: FSCIL(Few-shot class-incremental Learning)は、学習済みのクラスの知識を維持しながら、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。従来の手法では、固定パラメータ空間に依存する静的適応を広く採用して、逐次到着するデータから学習し、現在のセッションに過度に適合する傾向にある。既存の動的戦略はパラメータ空間を継続的に拡張し、複雑さを増大させる。これらの課題に対処するため、最近提案された選択状態空間モデル(SSM)をFSCILに統合する。具体的には、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整するデュアル選択型SSMプロジェクタを提案する。デュアルデザインにより、モデルはベースクラスの堅牢な特徴を維持でき、新規クラスの特徴シフトを適応的に学習することができる。さらに,動的適応を誘導するクラス感受性選択的スキャン機構を開発した。これは、新しいデータによるトレーニングによるベースクラス表現の中断を最小限に抑え、一方、選択スキャンはベースクラスと新規クラスの異なるパターンで実行するよう強制する。 miniImageNet, CUB-200, CIFAR-100 の実験により,我々のフレームワークは既存の最先端手法よりも優れていることが示された。コードはhttps://github.com/xiaojieli0903/Mamba-FSCILで入手できる。

関連論文リスト

Dynamic Feature Learning and Matching for Class-Incremental Learning [20.432575325147894]
CIL(Class-incremental Learning)は,従来のクラスを破滅的に忘れることなく,新しいクラスを学習する方法として登場した。本稿では,動的特徴学習とマッチング(DFLM)モデルを提案する。提案手法は既存手法に比べて大幅な性能向上を実現している。
論文参考訳（メタデータ） (2024-05-14T12:17:19Z)
Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
論文参考訳（メタデータ） (2024-03-18T17:58:13Z)
Demystifying the Base and Novel Performances for Few-shot Class-incremental Learning [15.762281194023462]
FSCIL(Few-shot class-incremental Learning)は、目に見えない新しいクラスがほとんどサンプルを持って絶えずやってくる現実のシナリオに対処している。先行知識を忘れずに新しいクラスを認識するモデルを開発する必要がある。本手法は,高度な最先端アルゴリズムと同等の性能を有することを示す。
論文参考訳（メタデータ） (2022-06-18T00:39:47Z)
Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2022-06-16T16:46:32Z)
FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文参考訳（メタデータ） (2022-04-10T11:38:33Z)
Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文参考訳（メタデータ） (2022-03-31T13:46:41Z)
Incremental Few-Shot Learning via Implanting and Compressing [13.122771115838523]
増分的なFew-Shot Learningは、いくつかの例から新しいクラスを継続的に学習するモデルを必要とする。我々はtextbfImplanting と textbfCompressing と呼ばれる2段階の学習戦略を提案する。具体的には、textbfImplantingのステップにおいて、新しいクラスのデータ分布をデータ・アサンダント・ベース・セットの助けを借りて模倣することを提案する。 textbfのステップでは、特徴抽出器を各新規クラスを正確に表現し、クラス内コンパクト性を高める。
論文参考訳（メタデータ） (2022-03-19T11:04:43Z)
Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文参考訳（メタデータ） (2020-11-16T08:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。