論文の概要: Efficient Non-Exemplar Class-Incremental Learning with Retrospective Feature Synthesis
- arxiv url: http://arxiv.org/abs/2411.01465v1
- Date: Sun, 03 Nov 2024 07:19:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:39:58.062660
- Title: Efficient Non-Exemplar Class-Incremental Learning with Retrospective Feature Synthesis
- Title（参考訳）: 振り返り特徴合成による非経験的クラスインクリメンタル学習の効率化
- Authors: Liang Bai, Hong Song, Yucong Lin, Tianyu Fu, Deqiang Xiao, Danni Ai, Jingfan Fan, Jian Yang,
- Abstract要約: 現在のNon-Exemplar Class-Incremental Learning (NECIL)メソッドは、クラス毎に1つのプロトタイプを格納することで、忘れを軽減している。
そこで本研究では,より効率的なNECIL手法を提案する。
提案手法は,非経験的クラスインクリメンタル学習の効率を大幅に向上させ,最先端のパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 21.348252135252412
- License:
- Abstract: Despite the outstanding performance in many individual tasks, deep neural networks suffer from catastrophic forgetting when learning from continuous data streams in real-world scenarios. Current Non-Exemplar Class-Incremental Learning (NECIL) methods mitigate forgetting by storing a single prototype per class, which serves to inject previous information when sequentially learning new classes. However, these stored prototypes or their augmented variants often fail to simultaneously capture spatial distribution diversity and precision needed for representing old classes. Moreover, as the model acquires new knowledge, these prototypes gradually become outdated, making them less effective. To overcome these limitations, we propose a more efficient NECIL method that replaces prototypes with synthesized retrospective features for old classes. Specifically, we model each old class's feature space using a multivariate Gaussian distribution and generate deep representations by sampling from high-likelihood regions. Additionally, we introduce a similarity-based feature compensation mechanism that integrates generated old class features with similar new class features to synthesize robust retrospective representations. These retrospective features are then incorporated into our incremental learning framework to preserve the decision boundaries of previous classes while learning new ones. Extensive experiments on CIFAR-100, TinyImageNet, and ImageNet-Subset demonstrate that our method significantly improves the efficiency of non-exemplar class-incremental learning and achieves state-of-the-art performance.
- Abstract（参考訳）: 多くの個々のタスクにおける優れたパフォーマンスにもかかわらず、ディープニューラルネットワークは、現実世界のシナリオで継続的データストリームから学ぶとき、破滅的な忘れに苦しむ。
現在のNon-Exemplar Class-Incremental Learning (NECIL)メソッドは、クラス毎に1つのプロトタイプを格納することで、新しいクラスをシーケンシャルに学習する際に、以前の情報を注入する。
しかし、これらの記憶されたプロトタイプやその拡張された派生型は、古いクラスを表現するのに必要な空間分布の多様性と精度を同時に捉えることに失敗することが多い。
さらに、モデルが新たな知識を取得すると、これらのプロトタイプは徐々に時代遅れになり、効果が低下する。
これらの制約を克服するため,我々は,プロトタイプを古いクラス向けに合成した振り返り機能に置き換える,より効率的なNECIL法を提案する。
具体的には,多変量ガウス分布を用いて各古クラスの特徴空間をモデル化し,高次領域からのサンプリングにより深部表現を生成する。
さらに, 類似性に基づく特徴補償機構を導入し, 生成した旧クラス機能と類似のクラス機能を統合し, 頑健な振り返り表現を合成する。
これらの振り返り機能は、新しいものを学びながら、前のクラスの決定境界を維持するために、インクリメンタルな学習フレームワークに組み込まれます。
CIFAR-100, TinyImageNet, ImageNet-Subset の大規模実験により, 従来のクラス増分学習の効率を大幅に向上し, 最先端の性能を達成できることが実証された。
関連論文リスト
- PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning [49.240408681098906]
クラスインクリメンタルラーニング(CIL)は,旧クラスの識別性を維持しつつ,新たなクラスを段階的に認識することを目的としている。
既存のCILメソッドの多くは、例えば、古いデータの一部を格納して再トレーニングする例がある。
本稿では、入力空間における自己教師付き変換(SST)と深い特徴空間におけるプロトタイプ拡張(protoAug)を利用する、単純で斬新な二重バイアス低減フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-19T05:03:16Z) - Class Incremental Learning with Self-Supervised Pre-Training and
Prototype Learning [21.901331484173944]
授業の段階的学習における破滅的忘れの原因を分析した。
固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。
本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
論文 参考訳（メタデータ） (2023-08-04T14:20:42Z) - Non-exemplar Class-incremental Learning by Random Auxiliary Classes
Augmentation and Mixed Features [37.51376572211081]
クラス増分学習(クラス増分学習)とは、古いクラスのサンプルを保存することなく、新しいクラスと古いクラスを分類することである。
本稿では,Random Auxiliary Class Augmentation と Mixed Feature を組み合わせたRAMF と呼ばれる実効非経験的手法を提案する。
論文 参考訳（メタデータ） (2023-04-16T06:33:43Z) - Cross-Class Feature Augmentation for Class Incremental Learning [45.91253737682168]
本稿では,敵対的攻撃を動機とした機能強化手法を取り入れた新しいクラスインクリメンタルラーニング手法を提案する。
提案手法は,任意の対象クラスの特徴を増大させるため,クラスインクリメンタルラーニングにおける従来の知識を活用するためのユニークな視点を持つ。
提案手法は,様々なシナリオにおいて,既存の段階的学習手法を著しく上回っている。
論文 参考訳（メタデータ） (2023-04-04T15:48:09Z) - Style Interleaved Learning for Generalizable Person Re-identification [69.03539634477637]
DG ReIDトレーニングのための新しいスタイルインターリーブラーニング(IL)フレームワークを提案する。
従来の学習戦略とは異なり、ILには2つの前方伝播と1つの後方伝播が組み込まれている。
我々のモデルはDG ReIDの大規模ベンチマークにおいて最先端の手法を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2022-07-07T07:41:32Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳（メタデータ） (2022-04-10T11:38:33Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z) - Self-Promoted Prototype Refinement for Few-Shot Class-Incremental
Learning [81.10531943939365]
クラスインクリメンタルな学習は、サンプルが少ないと新しいクラスを認識し、古いクラスを忘れないことである。
本稿では,様々なエピソードに特徴表現を適応させる新しいインクリメンタルなプロトタイプ学習手法を提案する。
3つのベンチマークデータセットの実験では、上記の段階的なパフォーマンスを示し、それぞれ13%、17%、11%のマージンで最先端のメソッドを上回っている。
論文 参考訳（メタデータ） (2021-07-19T14:31:33Z) - Continual Semantic Segmentation via Repulsion-Attraction of Sparse and
Disentangled Latent Representations [18.655840060559168]
本稿では,セマンティックセグメンテーションにおけるクラス連続学習に着目した。
新しいカテゴリは時間とともに利用可能になり、以前のトレーニングデータは保持されない。
提案された連続学習スキームは、潜在空間を形作り、新しいクラスの認識を改善しながら忘れを減らす。
論文 参考訳（メタデータ） (2021-03-10T21:02:05Z) - Class-incremental Learning with Pre-allocated Fixed Classifiers [20.74548175713497]
クラス増分学習では、学習エージェントは、前のクラスを忘れずに新しいクラスを学ぶことを目標として、データのストリームに直面します。
本稿では,複数の事前配置された出力ノードが学習フェーズの開始時から,その分類損失に正しく対応できる新しい固定分類器を提案する。
論文 参考訳（メタデータ） (2020-10-16T22:40:28Z) - Memory-Efficient Incremental Learning Through Feature Adaptation [71.1449769528535]
本稿では,以前学習したクラスから,画像の特徴記述子を保存するインクリメンタルラーニングのアプローチを提案する。
画像のより低次元の機能埋め込みを維持することで、メモリフットプリントが大幅に削減される。
実験の結果,インクリメンタルラーニングベンチマークにおいて,最先端の分類精度が得られた。
論文 参考訳（メタデータ） (2020-04-01T21:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。