論文の概要: Class Incremental Learning with Self-Supervised Pre-Training and
Prototype Learning
- arxiv url: http://arxiv.org/abs/2308.02346v1
- Date: Fri, 4 Aug 2023 14:20:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-07 12:43:14.130336
- Title: Class Incremental Learning with Self-Supervised Pre-Training and
Prototype Learning
- Title（参考訳）: 自己監督型事前学習とプロトタイプ学習による授業インクリメンタルラーニング
- Authors: Wenzhuo Liu, Xinjian Wu, Fei Zhu, Mingming Yu, Chuang Wang, Cheng-Lin
Liu
- Abstract要約: 授業の段階的学習における破滅的忘れの原因を分析した。
固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。
本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
- 参考スコア（独自算出の注目度）: 21.901331484173944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Network (DNN) has achieved great success on datasets of closed
class set. However, new classes, like new categories of social media topics,
are continuously added to the real world, making it necessary to incrementally
learn. This is hard for DNN because it tends to focus on fitting to new classes
while ignoring old classes, a phenomenon known as catastrophic forgetting.
State-of-the-art methods rely on knowledge distillation and data replay
techniques but still have limitations. In this work, we analyze the causes of
catastrophic forgetting in class incremental learning, which owes to three
factors: representation drift, representation confusion, and classifier
distortion. Based on this view, we propose a two-stage learning framework with
a fixed encoder and an incrementally updated prototype classifier. The encoder
is trained with self-supervised learning to generate a feature space with high
intrinsic dimensionality, thus improving its transferability and generality.
The classifier incrementally learns new prototypes while retaining the
prototypes of previously learned data, which is crucial in preserving the
decision boundary.Our method does not rely on preserved samples of old classes,
is thus a non-exemplar based CIL method. Experiments on public datasets show
that our method can significantly outperform state-of-the-art exemplar-based
methods when they reserved 5 examplers per class, under the incremental setting
of 10 phases, by 18.24% on CIFAR-100 and 9.37% on ImageNet100.
- Abstract（参考訳）: Deep Neural Network (DNN)は、閉じたクラスセットのデータセットで大きな成功を収めた。
しかし、ソーシャルメディアトピックの新しいカテゴリのように、新しいクラスが現実世界に継続的に追加され、段階的に学ぶ必要がある。
これはdnnにとって難しいことであり、古いクラスを無視しながら新しいクラスに適応することに焦点を合わせる傾向がある。
最先端の手法は知識蒸留とデータ再生技術に依存しているが、制限はある。
本研究は, クラスインクリメンタル学習における破滅的欠落の原因を, 表現のドリフト, 表現の混乱, 分類の歪みという3つの要因に起因して分析する。
この観点から,固定エンコーダと段階的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。
エンコーダは自己教師型学習を用いて訓練され、本質的な次元を持つ特徴空間を生成することにより、伝達性と一般性を向上させる。
分類器は,事前学習したデータのプロトタイプを保持しながら,新たなプロトタイプを段階的に学習するが,これは決定境界の維持に不可欠である。
公開データセットを用いた実験では,cifar-100では18.24%,imagenet100では9.37%,10段階のインクリメンタルな設定の下で,クラス毎に5つのインスタンスを予約した場合に,最先端のexemplarベースメソッドを大幅に上回ることができることが示された。
関連論文リスト
- Efficient Non-Exemplar Class-Incremental Learning with Retrospective Feature Synthesis [21.348252135252412]
現在のNon-Exemplar Class-Incremental Learning (NECIL)メソッドは、クラス毎に1つのプロトタイプを格納することで、忘れを軽減している。
そこで本研究では,より効率的なNECIL手法を提案する。
提案手法は,非経験的クラスインクリメンタル学習の効率を大幅に向上させ,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-11-03T07:19:11Z) - PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning [49.240408681098906]
クラスインクリメンタルラーニング(CIL)は,旧クラスの識別性を維持しつつ,新たなクラスを段階的に認識することを目的としている。
既存のCILメソッドの多くは、例えば、古いデータの一部を格納して再トレーニングする例がある。
本稿では、入力空間における自己教師付き変換(SST)と深い特徴空間におけるプロトタイプ拡張(protoAug)を利用する、単純で斬新な二重バイアス低減フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-19T05:03:16Z) - Towards Non-Exemplar Semi-Supervised Class-Incremental Learning [33.560003528712414]
クラス増分学習は、古いクラスの識別性を保ちながら、新しいクラスを徐々に認識することを目的としている。
コントラスト学習と半教師付きインクリメンタルプロトタイプ分類器(Semi-IPC)を用いた非経験的半教師付きCILフレームワークを提案する。
Semi-IPCは教師なしの正規化で各クラスのプロトタイプを学習し、部分的にラベル付けされた新しいデータからモデルを漸進的に学習することを可能にする。
論文 参考訳（メタデータ） (2024-03-27T06:28:19Z) - Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳（メタデータ） (2024-03-24T12:41:58Z) - Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-13T04:16:40Z) - Class-Incremental Learning: A Survey [84.30083092434938]
CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。
CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。
ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳（メタデータ） (2023-02-07T17:59:05Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳（メタデータ） (2023-02-06T18:39:40Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳（メタデータ） (2021-04-07T10:54:51Z) - Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。
旧知識保存のための重み付きユークリッド正規化を提案する。
新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
論文 参考訳（メタデータ） (2020-12-15T07:26:04Z) - Class-incremental Learning with Pre-allocated Fixed Classifiers [20.74548175713497]
クラス増分学習では、学習エージェントは、前のクラスを忘れずに新しいクラスを学ぶことを目標として、データのストリームに直面します。
本稿では,複数の事前配置された出力ノードが学習フェーズの開始時から,その分類損失に正しく対応できる新しい固定分類器を提案する。
論文 参考訳（メタデータ） (2020-10-16T22:40:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。