論文の概要: Class Incremental Learning with Self-Supervised Pre-Training and
Prototype Learning
- arxiv url: http://arxiv.org/abs/2308.02346v1
- Date: Fri, 4 Aug 2023 14:20:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-07 12:43:14.130336
- Title: Class Incremental Learning with Self-Supervised Pre-Training and
Prototype Learning
- Title(参考訳): 自己監督型事前学習とプロトタイプ学習による授業インクリメンタルラーニング
- Authors: Wenzhuo Liu, Xinjian Wu, Fei Zhu, Mingming Yu, Chuang Wang, Cheng-Lin
Liu
- Abstract要約: 授業の段階的学習における破滅的忘れの原因を分析した。
固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。
本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
- 参考スコア(独自算出の注目度): 21.901331484173944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Network (DNN) has achieved great success on datasets of closed
class set. However, new classes, like new categories of social media topics,
are continuously added to the real world, making it necessary to incrementally
learn. This is hard for DNN because it tends to focus on fitting to new classes
while ignoring old classes, a phenomenon known as catastrophic forgetting.
State-of-the-art methods rely on knowledge distillation and data replay
techniques but still have limitations. In this work, we analyze the causes of
catastrophic forgetting in class incremental learning, which owes to three
factors: representation drift, representation confusion, and classifier
distortion. Based on this view, we propose a two-stage learning framework with
a fixed encoder and an incrementally updated prototype classifier. The encoder
is trained with self-supervised learning to generate a feature space with high
intrinsic dimensionality, thus improving its transferability and generality.
The classifier incrementally learns new prototypes while retaining the
prototypes of previously learned data, which is crucial in preserving the
decision boundary.Our method does not rely on preserved samples of old classes,
is thus a non-exemplar based CIL method. Experiments on public datasets show
that our method can significantly outperform state-of-the-art exemplar-based
methods when they reserved 5 examplers per class, under the incremental setting
of 10 phases, by 18.24% on CIFAR-100 and 9.37% on ImageNet100.
- Abstract(参考訳): Deep Neural Network (DNN)は、閉じたクラスセットのデータセットで大きな成功を収めた。
しかし、ソーシャルメディアトピックの新しいカテゴリのように、新しいクラスが現実世界に継続的に追加され、段階的に学ぶ必要がある。
これはdnnにとって難しいことであり、古いクラスを無視しながら新しいクラスに適応することに焦点を合わせる傾向がある。
最先端の手法は知識蒸留とデータ再生技術に依存しているが、制限はある。
本研究は, クラスインクリメンタル学習における破滅的欠落の原因を, 表現のドリフト, 表現の混乱, 分類の歪みという3つの要因に起因して分析する。
この観点から,固定エンコーダと段階的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。
エンコーダは自己教師型学習を用いて訓練され、本質的な次元を持つ特徴空間を生成することにより、伝達性と一般性を向上させる。
分類器は,事前学習したデータのプロトタイプを保持しながら,新たなプロトタイプを段階的に学習するが,これは決定境界の維持に不可欠である。
公開データセットを用いた実験では,cifar-100では18.24%,imagenet100では9.37%,10段階のインクリメンタルな設定の下で,クラス毎に5つのインスタンスを予約した場合に,最先端のexemplarベースメソッドを大幅に上回ることができることが示された。
関連論文リスト
- Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-13T04:16:40Z) - Deep Class-Incremental Learning: A Survey [68.21880493796442]
常に変化する世界で、新しいクラスが時々現れます。
新しいクラスのインスタンスでモデルを直接トレーニングする場合、モデルは破滅的に以前のモデルの特徴を忘れる傾向があります。
ベンチマーク画像分類タスクにおける16の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳(メタデータ) (2023-02-07T17:59:05Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳(メタデータ) (2023-02-06T18:39:40Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳(メタデータ) (2021-11-18T06:58:19Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳(メタデータ) (2021-04-07T10:54:51Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳(メタデータ) (2021-04-01T13:55:21Z) - Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。
旧知識保存のための重み付きユークリッド正規化を提案する。
新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
論文 参考訳(メタデータ) (2020-12-15T07:26:04Z) - Class-incremental Learning with Pre-allocated Fixed Classifiers [20.74548175713497]
クラス増分学習では、学習エージェントは、前のクラスを忘れずに新しいクラスを学ぶことを目標として、データのストリームに直面します。
本稿では,複数の事前配置された出力ノードが学習フェーズの開始時から,その分類損失に正しく対応できる新しい固定分類器を提案する。
論文 参考訳(メタデータ) (2020-10-16T22:40:28Z) - Incremental Learning In Online Scenario [8.885829189810197]
現在の最先端の漸進的な学習手法では、新しいクラスが追加されるたびにモデルをトレーニングするのに長い時間がかかる。
本稿では,挑戦的なオンライン学習シナリオで機能するインクリメンタルラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-30T02:24:26Z) - Modeling the Background for Incremental Learning in Semantic
Segmentation [39.025848280224785]
深いアーキテクチャは破滅的な忘れ方に弱い。
本稿では,意味的セグメンテーションの文脈においてこの問題に対処する。
本稿では,このシフトを明示的に考慮した蒸留法に基づく新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-03T13:30:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。