論文の概要: Towards Non-Exemplar Semi-Supervised Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2403.18291v1
- Date: Wed, 27 Mar 2024 06:28:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 18:06:46.069979
- Title: Towards Non-Exemplar Semi-Supervised Class-Incremental Learning
- Title(参考訳): 非経験的半監督型クラスインクリメンタルラーニングを目指して
- Authors: Wenzhuo Liu, Fei Zhu, Cheng-Lin Liu,
- Abstract要約: クラス増分学習は、古いクラスの識別性を保ちながら、新しいクラスを徐々に認識することを目的としている。
コントラスト学習と半教師付きインクリメンタルプロトタイプ分類器(Semi-IPC)を用いた非経験的半教師付きCILフレームワークを提案する。
Semi-IPCは教師なしの正規化で各クラスのプロトタイプを学習し、部分的にラベル付けされた新しいデータからモデルを漸進的に学習することを可能にする。
- 参考スコア(独自算出の注目度): 33.560003528712414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks perform remarkably well in close-world scenarios. However, novel classes emerged continually in real applications, making it necessary to learn incrementally. Class-incremental learning (CIL) aims to gradually recognize new classes while maintaining the discriminability of old ones. Existing CIL methods have two limitations: a heavy reliance on preserving old data for forgetting mitigation and the need for vast labeled data for knowledge adaptation. To overcome these issues, we propose a non-exemplar semi-supervised CIL framework with contrastive learning and semi-supervised incremental prototype classifier (Semi-IPC). On the one hand, contrastive learning helps the model learn rich representations, easing the trade-off between learning representations of new classes and forgetting that of old classes. On the other hand, Semi-IPC learns a prototype for each class with unsupervised regularization, enabling the model to incrementally learn from partially labeled new data while maintaining the knowledge of old classes. Experiments on benchmark datasets demonstrate the strong performance of our method: without storing any old samples and only using less than 1% of labels, Semi-IPC outperforms advanced exemplar-based methods. We hope our work offers new insights for future CIL research. The code will be made publicly available.
- Abstract(参考訳): ディープニューラルネットワークは、近世界のシナリオで驚くほどよく機能する。
しかし、新しいクラスは実際のアプリケーションで継続的に現れ、漸進的に学ぶ必要がある。
クラスインクリメンタルラーニング(CIL)は,古いクラスを識別しやすくしながら,新しいクラスを徐々に認識することを目的としている。
既存のCIL手法には2つの制限がある: 緩和を忘れるために古いデータを保存することへの強い依存と、知識適応のための巨大なラベル付きデータの必要性である。
これらの課題を克服するために、コントラスト学習と半教師付きインクリメンタルプロトタイプ分類器(Semi-IPC)を備えた、非経験的半教師付きCILフレームワークを提案する。
一方、対照的な学習は、モデルがリッチな表現を学習し、新しいクラスの学習表現と古いクラスの学習表現とのトレードオフを緩和するのに役立つ。
一方、Semi-IPCは教師なし正規化で各クラスのプロトタイプを学習し、古いクラスの知識を維持しながら、部分的にラベル付けされた新しいデータから段階的に学習することができる。
従来のサンプルを保存せず、ラベルの1%未満しか使用せず、Semi-IPCは先進的な例に基づく手法よりも優れています。
私たちの研究が将来のCIL研究に新たな洞察を与えてくれることを願っています。
コードは公開されます。
関連論文リスト
- Few-Shot Class Incremental Learning with Attention-Aware Self-Adaptive Prompt [58.880105981772324]
ASP(Attention-Aware Self-Adaptive Prompt)という新しいフレームワークを提案する。
ASP.NETはタスク不変のプロンプトを奨励し、注意点から特定の情報を減らすことで共有知識をキャプチャする。
要約すると、ASPはベースタスクの過度な適合を防ぎ、数秒のインクリメンタルタスクで膨大なデータを必要としない。
論文 参考訳(メタデータ) (2024-03-14T20:34:53Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-08T18:24:08Z) - Class Incremental Learning with Self-Supervised Pre-Training and
Prototype Learning [21.901331484173944]
授業の段階的学習における破滅的忘れの原因を分析した。
固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。
本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
論文 参考訳(メタデータ) (2023-08-04T14:20:42Z) - Deep Class-Incremental Learning: A Survey [68.21880493796442]
常に変化する世界で、新しいクラスが時々現れます。
新しいクラスのインスタンスでモデルを直接トレーニングする場合、モデルは破滅的に以前のモデルの特徴を忘れる傾向があります。
ベンチマーク画像分類タスクにおける16の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳(メタデータ) (2023-02-07T17:59:05Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2022-03-31T13:46:41Z) - Learning to Generate Novel Classes for Deep Metric Learning [24.048915378172012]
本稿では,新しいクラスとその埋め込みベクトルを合成するデータ拡張手法を提案する。
クラスラベルとノイズを与えられた条件付き生成モデルを学習し、活用することにより、クラスにランダムな埋め込みベクトルを生成する。
提案したジェネレータは,現実的で多様なクラスを増大させることで,よりリッチなクラス関係を利用でき,その結果,見つからないサンプルをより一般化することができる。
論文 参考訳(メタデータ) (2022-01-04T06:55:19Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳(メタデータ) (2021-11-18T06:58:19Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳(メタデータ) (2021-04-07T10:54:51Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳(メタデータ) (2020-08-31T04:11:24Z) - Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。
クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。
本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文 参考訳(メタデータ) (2020-06-10T15:15:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。