論文の概要: Combining Past, Present and Future: A Self-Supervised Approach for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2311.08764v1
• Date: Wed, 15 Nov 2023 08:13:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 16:46:45.423611
• Title: Combining Past, Present and Future: A Self-Supervised Approach for Class Incremental Learning
• Title（参考訳）: 過去、現在、未来を組み合わせる:授業インクリメンタル学習のための自己教師付きアプローチ
• Authors: Xiaoshuang Chen, Zhongyi Sun, Ke Yan, Shouhong Ding, Hongtao Lu
• Abstract要約: 我々は,過去,現在,未来を組み合わせた自己管理型CILフレームワークCPPFを提案する。 提案手法は,自己指導型インクリメンタル学習の性能を向上させる。
• 参考スコア（独自算出の注目度）: 41.770481472817934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class Incremental Learning (CIL) aims to handle the scenario where data of novel classes occur continuously and sequentially. The model should recognize the sequential novel classes while alleviating the catastrophic forgetting. In the self-supervised manner, it becomes more challenging to avoid the conflict between the feature embedding spaces of novel classes and old ones without any class labels. To address the problem, we propose a self-supervised CIL framework CPPF, meaning Combining Past, Present and Future. In detail, CPPF consists of a prototype clustering module (PC), an embedding space reserving module (ESR) and a multi-teacher distillation module (MTD). 1) The PC and the ESR modules reserve embedding space for subsequent phases at the prototype level and the feature level respectively to prepare for knowledge learned in the future. 2) The MTD module maintains the representations of the current phase without the interference of past knowledge. One of the teacher networks retains the representations of the past phases, and the other teacher network distills relation information of the current phase to the student network. Extensive experiments on CIFAR100 and ImageNet100 datasets demonstrate that our proposed method boosts the performance of self-supervised class incremental learning. We will release code in the near future.
• Abstract（参考訳）: クラスインクリメンタル学習(cil)は、新しいクラスのデータが継続的に連続的に発生するシナリオを扱うことを目的としている。 モデルは、破滅的な忘れを緩和しながら、シーケンシャルな新しいクラスを認識するべきである。 自己監督的な方法では、新しいクラスの特徴埋め込み空間と、クラスラベルなしで古いものとの衝突を避けることがより困難になる。 そこで本研究では,過去,現在,未来を組み合わせた自己管理型CILフレームワークCPPFを提案する。 詳しくは、CPPFは、プロトタイプのクラスタリングモジュール(PC)、埋め込みスペース保存モジュール(ESR)、マルチ教師蒸留モジュール(MTD)から構成される。 1)PCとESRモジュールはそれぞれプロトタイプレベルと特徴レベルにおける後続フェーズの埋め込みスペースを予備し,将来学習される知識に備えた。 2)MTDモジュールは過去の知識の干渉なしに現在のフェーズの表現を維持する。 教師ネットワークの1つは過去のフェーズの表現を保持し、もう1つの教師ネットワークは、現在のフェーズと学生ネットワークの関係情報を蒸留する。 cifar100とimagenet100データセットに関する広範囲な実験により,提案手法が自己教師付きクラスインクリメンタル学習の性能を高めることを実証した。 近い将来、コードをリリースします。

関連論文リスト

• Towards Non-Exemplar Semi-Supervised Class-Incremental Learning [33.560003528712414]
  クラス増分学習は、古いクラスの識別性を保ちながら、新しいクラスを徐々に認識することを目的としている。 コントラスト学習と半教師付きインクリメンタルプロトタイプ分類器(Semi-IPC)を用いた非経験的半教師付きCILフレームワークを提案する。 Semi-IPCは教師なしの正規化で各クラスのプロトタイプを学習し、部分的にラベル付けされた新しいデータからモデルを漸進的に学習することを可能にする。
  論文  参考訳（メタデータ） (2024-03-27T06:28:19Z)
• Read Between the Layers: Leveraging Multi-Layer Representations for Rehearsal-Free Continual Learning with Pre-Trained Models [15.847302755988506]
  本研究では,非定常分布から連続的なタスク列を学習しなければならない連続学習問題に対処する。 プレトレーニングネットワークの複数の中間層からの2次特徴統計量を利用する,CL に対する新しいプロトタイプベースのアプローチである LayUP を提案する。 その結果、CLにおける事前学習モデルの表現能力を完全に消耗させることは、最終的な埋め込みをはるかに超えることを示した。
  論文  参考訳（メタデータ） (2023-12-13T13:11:44Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Class-Incremental Learning with Cross-Space Clustering and Controlled Transfer [9.356870107137093]
  クラス増分学習では,従来のクラスに関する知識を維持しつつ,新しいクラスを継続的に学習することが期待される。 クラスインクリメンタルラーニングのための蒸留法に基づく2つの目的を提案する。
  論文  参考訳（メタデータ） (2022-08-07T16:28:02Z)
• Forward Compatible Few-Shot Class-Incremental Learning [71.2459746681805]
  機械学習モデルは、古いクラスを忘れずに新しいクラスを認識するべきである。 現在の手法は漸進的な学習をふりかえりに扱う。 FSCILのためのForwArd Compatible Training (FACT)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T09:36:35Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
  CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。 従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。 新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
  論文  参考訳（メタデータ） (2020-08-31T04:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。