論文の概要: Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks
- arxiv url: http://arxiv.org/abs/2203.17030v1
- Date: Thu, 31 Mar 2022 13:46:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 14:14:32.116812
- Title: Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks
- Title(参考訳): 多相タスクのサンプリングによるクラスインクリメンタル学習
- Authors: Da-Wei Zhou, Han-Jia Ye, De-Chuan Zhan
- Abstract要約: モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
- 参考スコア(独自算出の注目度): 59.12108527904171
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: New classes arise frequently in our ever-changing world, e.g., emerging
topics in social media and new types of products in e-commerce. A model should
recognize new classes and meanwhile maintain discriminability over old classes.
Under severe circumstances, only limited novel instances are available to
incrementally update the model. The task of recognizing few-shot new classes
without forgetting old classes is called few-shot class-incremental learning
(FSCIL). In this work, we propose a new paradigm for FSCIL based on
meta-learning by LearnIng Multi-phase Incremental Tasks (LIMIT), which
synthesizes fake FSCIL tasks from the base dataset. The data format of fake
tasks is consistent with the `real' incremental tasks, and we can build a
generalizable feature space for the unseen tasks through meta-learning.
Besides, LIMIT also constructs a calibration module based on transformer, which
calibrates the old class classifiers and new class prototypes into the same
scale and fills in the semantic gap. The calibration module also adaptively
contextualizes the instance-specific embedding with a set-to-set function.
LIMIT efficiently adapts to new classes and meanwhile resists forgetting over
old classes. Experiments on three benchmark datasets (CIFAR100, miniImageNet,
and CUB200) and large-scale dataset, i.e., ImageNet ILSVRC2012 validate that
LIMIT achieves state-of-the-art performance.
- Abstract(参考訳): 新しいクラスは、ソーシャルメディアの新興トピックやeコマースの新しいタイプの製品など、絶えず変化する世界において頻繁に発生する。
モデルは新しいクラスを認識し、一方で古いクラスに対する差別性を維持すべきである。
厳しい状況下では、モデルを段階的に更新する新規インスタンスは限られている。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
本研究では,ベースデータセットから偽のFSCILタスクを合成するLearnIng Multi-phase Incremental Tasks (LIMIT)によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
偽タスクのデータフォーマットは ‘real’ インクリメンタルタスクと一致しており、メタ学習を通じて、目に見えないタスクのための一般化可能な機能空間を構築することができます。
さらに、LIMITはトランスフォーマーに基づいたキャリブレーションモジュールも構築しており、古いクラス分類器と新しいクラスプロトタイプを同じスケールにキャリブレーションし、セマンティックギャップを埋める。
キャリブレーションモジュールはまた、インスタンス固有の埋め込みをset-to-set関数で適応的にコンテキスト化する。
LIMITは、新しいクラスに効率的に適応し、古いクラスを忘れることに抵抗する。
3つのベンチマークデータセット(CIFAR100、miniImageNet、CUB200)と大規模データセット、すなわち ImageNet ILSVRC2012の実験では、LIMITは最先端のパフォーマンスを達成する。
関連論文リスト
- MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning
for Multimodal Video Captioning [10.95493493610559]
マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。
特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。
公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
論文 参考訳(メタデータ) (2024-02-27T16:54:08Z) - LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。
低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。
PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
論文 参考訳(メタデータ) (2024-01-04T18:53:01Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-08T18:24:08Z) - Incremental Object Detection with CLIP [39.85017351940035]
インクリメンタルな検出タスクでは、インクリメンタルな分類タスクとは異なり、ラベル付きバウンディングボックスが異なるため、データのあいまいさが存在する。
本稿では,CLIPなどの言語視覚モデルを用いて,異なるクラスセットに対するテキスト特徴埋め込みを生成することを提案する。
次に、学習段階の未使用の新規クラスを置き換えるために、幅広いクラスを使用し、実際の段階的なシナリオをシミュレートします。
論文 参考訳(メタデータ) (2023-10-13T01:59:39Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z) - Forward Compatible Few-Shot Class-Incremental Learning [71.2459746681805]
機械学習モデルは、古いクラスを忘れずに新しいクラスを認識するべきである。
現在の手法は漸進的な学習をふりかえりに扱う。
FSCILのためのForwArd Compatible Training (FACT)を提案する。
論文 参考訳(メタデータ) (2022-03-14T09:36:35Z) - Novel Class Discovery in Semantic Segmentation [104.30729847367104]
セマンティックにおける新しいクラス発見(NCDSS)について紹介する。
ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。
NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。
本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
論文 参考訳(メタデータ) (2021-12-03T13:31:59Z) - Fuzzy Simplicial Networks: A Topology-Inspired Model to Improve Task
Generalization in Few-shot Learning [1.0062040918634414]
少ないショット学習アルゴリズムは、限られたデータで新しいタスクをうまく一般化するように設計されている。
本稿では,Fizzy Simplicial Networks (FSN) と呼ばれる,トポロジから構築したモデルを用いて,限られたデータから各クラスをより柔軟に表現する手法を提案する。
論文 参考訳(メタデータ) (2020-09-23T17:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。