論文の概要: Non-exemplar Class-incremental Learning by Random Auxiliary Classes
Augmentation and Mixed Features
- arxiv url: http://arxiv.org/abs/2304.07707v2
- Date: Fri, 25 Aug 2023 15:17:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 17:32:28.228777
- Title: Non-exemplar Class-incremental Learning by Random Auxiliary Classes
Augmentation and Mixed Features
- Title(参考訳): ランダム補助クラス増分と混合特徴による非経験的クラス増分学習
- Authors: Ke Song, Quan Xia, Guoqiang Liang, Zhaojie Chen, Yanning Zhang
- Abstract要約: クラス増分学習(クラス増分学習)とは、古いクラスのサンプルを保存することなく、新しいクラスと古いクラスを分類することである。
本稿では,Random Auxiliary Class Augmentation と Mixed Feature を組み合わせたRAMF と呼ばれる実効非経験的手法を提案する。
- 参考スコア(独自算出の注目度): 37.51376572211081
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-exemplar class-incremental learning refers to classifying new and old
classes without storing samples of old classes. Since only new class samples
are available for optimization, it often occurs catastrophic forgetting of old
knowledge. To alleviate this problem, many new methods are proposed such as
model distillation, class augmentation. In this paper, we propose an effective
non-exemplar method called RAMF consisting of Random Auxiliary classes
augmentation and Mixed Feature. On the one hand, we design a novel random
auxiliary classes augmentation method, where one augmentation is randomly
selected from three augmentations and applied on the input to generate
augmented samples and extra class labels. By extending data and label space, it
allows the model to learn more diverse representations, which can prevent the
model from being biased towards learning task-specific features. When learning
new tasks, it will reduce the change of feature space and improve model
generalization. On the other hand, we employ mixed feature to replace the new
features since only using new feature to optimize the model will affect the
representation that was previously embedded in the feature space. Instead, by
mixing new and old features, old knowledge can be retained without increasing
the computational complexity. Extensive experiments on three benchmarks
demonstrate the superiority of our approach, which outperforms the
state-of-the-art non-exemplar methods and is comparable to high-performance
replay-based methods.
- Abstract(参考訳): non-exemplar class-incremental learningは、古いクラスのサンプルを保存せずに、新しいクラスと古いクラスを分類することを指す。
新しいクラスサンプルのみが最適化に利用できるため、しばしば古い知識を破滅的に忘れてしまう。
この問題を軽減するため, モデル蒸留, クラス増級などの新しい手法が提案されている。
本稿では,Random Auxiliary class augmentation と Mixed Feature を組み合わせたRAMFと呼ばれる実効非実例手法を提案する。
一方,3つの拡張から1つの拡張をランダムに選択し,その入力に適用し,拡張サンプルと追加クラスラベルを生成するランダムな補助クラス拡張法を設計する。
データとラベル空間を拡張することで、モデルがより多様な表現を学習できるため、モデルがタスク固有の特徴の学習に偏ることを防ぐことができる。
新しいタスクを学ぶとき、機能空間の変更を減らし、モデルの一般化を改善する。
一方で、モデル最適化に新機能のみを使用すると、以前フィーチャースペースに埋め込まれた表現に影響を与えるため、新機能を置き換えるために混合機能を使用します。
代わりに、新しい機能と古い機能を組み合わせることで、計算の複雑さを増大させることなく古い知識を維持できる。
3つのベンチマークでの大規模な実験は、最先端の非経験的手法よりも優れ、高性能なリプレイ方式に匹敵するアプローチの優位性を実証している。
関連論文リスト
- CEAT: Continual Expansion and Absorption Transformer for Non-Exemplar
Class-Incremental Learning [34.59310641291726]
現実のアプリケーションでは、動的シナリオは、古い知識を忘れずに新しいタスクを継続的に学習する能力を持つ必要がある。
連続膨張吸収変圧器(CEAT)という新しいアーキテクチャを提案する。
このモデルは、凍結した前のパラメータと平行に拡散層を拡張することで、新しい知識を学ぶことができる。
モデルの学習能力を向上させるために,特徴空間における古クラスと新クラスの重複を低減するために,新しいプロトタイプを設計した。
論文 参考訳(メタデータ) (2024-03-11T12:40:12Z) - Cascaded Scaling Classifier: class incremental learning with probability
scaling [4.816581623191151]
本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。
1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。
提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
論文 参考訳(メタデータ) (2024-02-02T09:33:07Z) - Cross-Class Feature Augmentation for Class Incremental Learning [45.91253737682168]
本稿では,敵対的攻撃を動機とした機能強化手法を取り入れた新しいクラスインクリメンタルラーニング手法を提案する。
提案手法は,任意の対象クラスの特徴を増大させるため,クラスインクリメンタルラーニングにおける従来の知識を活用するためのユニークな視点を持つ。
提案手法は,様々なシナリオにおいて,既存の段階的学習手法を著しく上回っている。
論文 参考訳(メタデータ) (2023-04-04T15:48:09Z) - Deep Class-Incremental Learning: A Survey [68.21880493796442]
常に変化する世界で、新しいクラスが時々現れます。
新しいクラスのインスタンスでモデルを直接トレーニングする場合、モデルは破滅的に以前のモデルの特徴を忘れる傾向があります。
ベンチマーク画像分類タスクにおける16の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳(メタデータ) (2023-02-07T17:59:05Z) - FeTrIL: Feature Translation for Exemplar-Free Class-Incremental Learning [40.74872446895684]
新しいクラスだけでなく過去の精度を高めるためには, 段階的プロセスの安定性と可塑性のバランスが必要である。
既存の非標準クラスインクリメンタルな手法は、モデルの連続的な微調整に焦点をあて、可塑性を優先するか、初期段階以降に固定された特徴抽出器を使用することに重点を置いている。
固定特徴抽出器と擬似特徴生成器を組み合わせて安定性・塑性バランスを改善する手法を提案する。
論文 参考訳(メタデータ) (2022-11-23T17:04:20Z) - Self-Sustaining Representation Expansion for Non-Exemplar
Class-Incremental Learning [138.35405462309456]
非典型的なクラス増分学習は、古いクラスサンプルを保存できない場合に、古いクラスと新しいクラスの両方を認識することである。
提案手法は,メインブランチ拡張とサイドブランチ更新を融合して旧機能を維持する構造再構成戦略から成り立っている。
蒸留プロセスに新しい試料を選択的に組み込むことにより, 旧クラスと新クラスの識別性を高めるための試作機選択機構を提案する。
論文 参考訳(メタデータ) (2022-03-12T06:42:20Z) - Long-tail Recognition via Compositional Knowledge Transfer [60.03764547406601]
末尾クラスの少数ショット問題に対処する長尾認識のための新しい戦略を導入する。
我々の目標は、情報に富んだ共通クラスから得られた知識を、意味的に類似しているがデータに富む稀なクラスに伝達することである。
実験結果から,本手法は稀なクラスにおいて,堅牢な共通クラス性能を維持しつつ,大幅な性能向上を達成できることが示唆された。
論文 参考訳(メタデータ) (2021-12-13T15:48:59Z) - Self-Promoted Prototype Refinement for Few-Shot Class-Incremental
Learning [81.10531943939365]
クラスインクリメンタルな学習は、サンプルが少ないと新しいクラスを認識し、古いクラスを忘れないことである。
本稿では,様々なエピソードに特徴表現を適応させる新しいインクリメンタルなプロトタイプ学習手法を提案する。
3つのベンチマークデータセットの実験では、上記の段階的なパフォーマンスを示し、それぞれ13%、17%、11%のマージンで最先端のメソッドを上回っている。
論文 参考訳(メタデータ) (2021-07-19T14:31:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。