論文の概要: Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for
Few-Shot Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2304.00426v1
- Date: Sun, 2 Apr 2023 01:51:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 18:07:16.604945
- Title: Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for
Few-Shot Class-Incremental Learning
- Title(参考訳): ファンタジーによる学習: クラスインクリメンタル学習のためのセマンティクスを意識した仮想コントラスト制約
- Authors: Zeyin Song, Yifan Zhao, Yujun Shi, Peixi Peng, Li Yuan, Yonghong Tian
- Abstract要約: FSCIL (Few-shot class-incremental Learning) は、クラスを忘れずに、限られたサンプルから新しいクラスを継続的に分類することを目的としている。
本稿では,新しいクラスとベースクラスの分離を容易にする新しい手法であるSemantic-Aware Virtual Contrastive Model (SAVC)を提案する。
我々のSAVCは、ベースクラス分離と新しいクラス一般化を著しく促進し、3つの広く使用されているFSCILベンチマークデータセット上で、新しい最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 42.551377055029334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot class-incremental learning (FSCIL) aims at learning to classify new
classes continually from limited samples without forgetting the old classes.
The mainstream framework tackling FSCIL is first to adopt the cross-entropy
(CE) loss for training at the base session, then freeze the feature extractor
to adapt to new classes. However, in this work, we find that the CE loss is not
ideal for the base session training as it suffers poor class separation in
terms of representations, which further degrades generalization to novel
classes. One tempting method to mitigate this problem is to apply an additional
naive supervised contrastive learning (SCL) in the base session. Unfortunately,
we find that although SCL can create a slightly better representation
separation among different base classes, it still struggles to separate base
classes and new classes. Inspired by the observations made, we propose
Semantic-Aware Virtual Contrastive model (SAVC), a novel method that
facilitates separation between new classes and base classes by introducing
virtual classes to SCL. These virtual classes, which are generated via
pre-defined transformations, not only act as placeholders for unseen classes in
the representation space, but also provide diverse semantic information. By
learning to recognize and contrast in the fantasy space fostered by virtual
classes, our SAVC significantly boosts base class separation and novel class
generalization, achieving new state-of-the-art performance on the three
widely-used FSCIL benchmark datasets. Code is available at:
https://github.com/zysong0113/SAVC.
- Abstract(参考訳): FSCIL (Few-shot class-incremental Learning) は、クラスを忘れずに、限られたサンプルから新しいクラスを継続的に分類することを目的としている。
FSCILに対処する主要なフレームワークは、まず、ベースセッションでのトレーニングにクロスエントロピー(CE)損失を採用し、次に新しいクラスに適応するために機能抽出器を凍結する。
しかし,本研究では,表象の面でのクラス分離が貧弱であるため,基礎セッショントレーニングではce損失が理想的ではないことを見出し,新たなクラスへの一般化をさらに低下させる。
この問題を緩和する1つの誘惑的手法は、ベースセッションに補助的教師付きコントラスト学習(SCL)を適用することである。
残念なことに、SCLは異なるベースクラス間でわずかに優れた表現分離を作成できるが、ベースクラスと新しいクラスを分離するのに依然として苦労している。
そこで我々は,SCLに仮想クラスを導入することで,新しいクラスとベースクラスの分離を容易にする新しい手法であるSemantic-Aware Virtual Contrastive Model (SAVC)を提案する。
これらの仮想クラスは、事前に定義された変換によって生成されるが、表現空間で見えないクラスのプレースホルダーとして機能するだけでなく、多様な意味情報も提供する。
仮想クラスによって育成される空想空間における認識とコントラストの学習により、我々のSAVCは、ベースクラスの分離と新しいクラス一般化を著しく促進し、3つの広く使用されているFSCILベンチマークデータセット上で、新しい最先端のパフォーマンスを達成する。
コードはhttps://github.com/zysong0113/savc.com/。
関連論文リスト
- Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-08T18:24:08Z) - TLCE: Transfer-Learning Based Classifier Ensembles for Few-Shot
Class-Incremental Learning [5.753740302289126]
FSCIL(Few-shot class-incremental Learning)は、いくつかの例から新しいクラスを段階的に認識するのに苦労する。
本稿では,新しいクラスと古いクラスの分離を改善するために,複数の事前学習モデルをアンサンブルするTLCEを提案する。
論文 参考訳(メタデータ) (2023-12-07T11:16:00Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳(メタデータ) (2023-02-06T18:39:40Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2022-03-31T13:46:41Z) - Incremental Few-Shot Learning via Implanting and Compressing [13.122771115838523]
増分的なFew-Shot Learningは、いくつかの例から新しいクラスを継続的に学習するモデルを必要とする。
我々はtextbfImplanting と textbfCompressing と呼ばれる2段階の学習戦略を提案する。
具体的には、textbfImplantingのステップにおいて、新しいクラスのデータ分布をデータ・アサンダント・ベース・セットの助けを借りて模倣することを提案する。
textbfのステップでは、特徴抽出器を各新規クラスを正確に表現し、クラス内コンパクト性を高める。
論文 参考訳(メタデータ) (2022-03-19T11:04:43Z) - Few-Shot Object Detection via Association and DIscrimination [83.8472428718097]
AssociationとDIscriminationによるオブジェクト検出は、新しいクラスごとに2つのステップで識別可能な特徴空間を構築している。
Pascal VOCとMS-COCOデータセットの実験では、FADIは新しいSOTAパフォーマンスを実現し、ショット/スプリットのベースラインを+18.7で大幅に改善した。
論文 参考訳(メタデータ) (2021-11-23T05:04:06Z) - Fine-grained Angular Contrastive Learning with Coarse Labels [72.80126601230447]
教師付きおよび自己監督型コントラスト前訓練を効果的に組み合わせることができる新しい「Angularの正規化」モジュールを紹介します。
この研究は、C2FS分類のこの新しい、挑戦的で、非常に実用的なトピックに関する将来の研究の道を開くのに役立ちます。
論文 参考訳(メタデータ) (2020-12-07T08:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。