論文の概要: Combining Past, Present and Future: A Self-Supervised Approach for Class
Incremental Learning
- arxiv url: http://arxiv.org/abs/2311.08764v1
- Date: Wed, 15 Nov 2023 08:13:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 16:46:45.423611
- Title: Combining Past, Present and Future: A Self-Supervised Approach for Class
Incremental Learning
- Title(参考訳): 過去、現在、未来を組み合わせる:授業インクリメンタル学習のための自己教師付きアプローチ
- Authors: Xiaoshuang Chen, Zhongyi Sun, Ke Yan, Shouhong Ding, Hongtao Lu
- Abstract要約: 我々は,過去,現在,未来を組み合わせた自己管理型CILフレームワークCPPFを提案する。
提案手法は,自己指導型インクリメンタル学習の性能を向上させる。
- 参考スコア(独自算出の注目度): 41.770481472817934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Class Incremental Learning (CIL) aims to handle the scenario where data of
novel classes occur continuously and sequentially. The model should recognize
the sequential novel classes while alleviating the catastrophic forgetting. In
the self-supervised manner, it becomes more challenging to avoid the conflict
between the feature embedding spaces of novel classes and old ones without any
class labels. To address the problem, we propose a self-supervised CIL
framework CPPF, meaning Combining Past, Present and Future. In detail, CPPF
consists of a prototype clustering module (PC), an embedding space reserving
module (ESR) and a multi-teacher distillation module (MTD). 1) The PC and the
ESR modules reserve embedding space for subsequent phases at the prototype
level and the feature level respectively to prepare for knowledge learned in
the future. 2) The MTD module maintains the representations of the current
phase without the interference of past knowledge. One of the teacher networks
retains the representations of the past phases, and the other teacher network
distills relation information of the current phase to the student network.
Extensive experiments on CIFAR100 and ImageNet100 datasets demonstrate that our
proposed method boosts the performance of self-supervised class incremental
learning. We will release code in the near future.
- Abstract(参考訳): クラスインクリメンタル学習(cil)は、新しいクラスのデータが継続的に連続的に発生するシナリオを扱うことを目的としている。
モデルは、破滅的な忘れを緩和しながら、シーケンシャルな新しいクラスを認識するべきである。
自己監督的な方法では、新しいクラスの特徴埋め込み空間と、クラスラベルなしで古いものとの衝突を避けることがより困難になる。
そこで本研究では,過去,現在,未来を組み合わせた自己管理型CILフレームワークCPPFを提案する。
詳しくは、CPPFは、プロトタイプのクラスタリングモジュール(PC)、埋め込みスペース保存モジュール(ESR)、マルチ教師蒸留モジュール(MTD)から構成される。
1)PCとESRモジュールはそれぞれプロトタイプレベルと特徴レベルにおける後続フェーズの埋め込みスペースを予備し,将来学習される知識に備えた。
2)MTDモジュールは過去の知識の干渉なしに現在のフェーズの表現を維持する。
教師ネットワークの1つは過去のフェーズの表現を保持し、もう1つの教師ネットワークは、現在のフェーズと学生ネットワークの関係情報を蒸留する。
cifar100とimagenet100データセットに関する広範囲な実験により,提案手法が自己教師付きクラスインクリメンタル学習の性能を高めることを実証した。
近い将来、コードをリリースします。
関連論文リスト
- Read Between the Layers: Leveraging Intra-Layer Representations for
Rehearsal-Free Continual Learning with Pre-Trained Models [17.31203979844975]
継続学習のための新しいクラスプロトタイプベースのアプローチであるLayUPを提案する。
提案手法は概念的には単純で,リプレイバッファを必要としない。
論文 参考訳(メタデータ) (2023-12-13T13:11:44Z) - Class Incremental Learning with Self-Supervised Pre-Training and
Prototype Learning [21.901331484173944]
授業の段階的学習における破滅的忘れの原因を分析した。
固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。
本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
論文 参考訳(メタデータ) (2023-08-04T14:20:42Z) - Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。
本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文 参考訳(メタデータ) (2023-06-16T08:13:41Z) - Class-Incremental Learning with Cross-Space Clustering and Controlled
Transfer [9.356870107137093]
クラス増分学習では,従来のクラスに関する知識を維持しつつ,新しいクラスを継続的に学習することが期待される。
クラスインクリメンタルラーニングのための蒸留法に基づく2つの目的を提案する。
論文 参考訳(メタデータ) (2022-08-07T16:28:02Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2022-03-31T13:46:41Z) - Forward Compatible Few-Shot Class-Incremental Learning [71.2459746681805]
機械学習モデルは、古いクラスを忘れずに新しいクラスを認識するべきである。
現在の手法は漸進的な学習をふりかえりに扱う。
FSCILのためのForwArd Compatible Training (FACT)を提案する。
論文 参考訳(メタデータ) (2022-03-14T09:36:35Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳(メタデータ) (2021-11-18T06:58:19Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳(メタデータ) (2020-08-31T04:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。