論文の概要: Class-Incremental Learning with Cross-Space Clustering and Controlled
Transfer
- arxiv url: http://arxiv.org/abs/2208.03767v1
- Date: Sun, 7 Aug 2022 16:28:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 12:15:20.922967
- Title: Class-Incremental Learning with Cross-Space Clustering and Controlled
Transfer
- Title（参考訳）: クロススペースクラスタリングと制御転送によるクラスインクリメンタル学習
- Authors: Arjun Ashok, K J Joseph, Vineeth Balasubramanian
- Abstract要約: クラス増分学習では,従来のクラスに関する知識を維持しつつ,新しいクラスを継続的に学習することが期待される。
クラスインクリメンタルラーニングのための蒸留法に基づく2つの目的を提案する。
- 参考スコア（独自算出の注目度）: 9.356870107137093
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In class-incremental learning, the model is expected to learn new classes
continually while maintaining knowledge on previous classes. The challenge here
lies in preserving the model's ability to effectively represent prior classes
in the feature space, while adapting it to represent incoming new classes. We
propose two distillation-based objectives for class incremental learning that
leverage the structure of the feature space to maintain accuracy on previous
classes, as well as enable learning the new classes. In our first objective,
termed cross-space clustering (CSC), we propose to use the feature space
structure of the previous model to characterize directions of optimization that
maximally preserve the class - directions that all instances of a specific
class should collectively optimize towards, and those that they should
collectively optimize away from. Apart from minimizing forgetting, this
indirectly encourages the model to cluster all instances of a class in the
current feature space, and gives rise to a sense of herd-immunity, allowing all
samples of a class to jointly combat the model from forgetting the class. Our
second objective termed controlled transfer (CT) tackles incremental learning
from an understudied perspective of inter-class transfer. CT explicitly
approximates and conditions the current model on the semantic similarities
between incrementally arriving classes and prior classes. This allows the model
to learn classes in such a way that it maximizes positive forward transfer from
similar prior classes, thus increasing plasticity, and minimizes negative
backward transfer on dissimilar prior classes, whereby strengthening stability.
We perform extensive experiments on two benchmark datasets, adding our method
(CSCCT) on top of three prominent class-incremental learning methods. We
observe consistent performance improvement on a variety of experimental
settings.
- Abstract（参考訳）: クラス増分学習では,従来のクラスに関する知識を維持しつつ,新しいクラスを継続的に学習することが期待される。
ここでの課題は、モデルが機能空間で事前クラスを効果的に表現できる能力を維持しながら、入ってくる新しいクラスを表現できることだ。
そこで本研究では,先行クラスにおける正確性を維持するため,特徴空間の構造を活用した授業インクリメンタル学習のための蒸留ベースの2つの目標を提案する。
クロススペースクラスタリング(csc:cross-space clustering)と呼ばれる最初の目的において、私たちは、以前のモデルの機能空間構造を使用して、クラスを最大に保存する最適化の方向を特徴付けることを提案します。
これは、忘れることの最小化とは別に、間接的にモデルに現在の機能空間内のクラスのすべてのインスタンスをクラスタ化させ、クラスの全サンプルが一緒にクラスを忘れるのを防げるように、herd免疫の感覚を生じさせる。
第2の目的である制御伝達(CT)は,クラス間移動の観点からの漸進的な学習に取り組む。
CTは、インクリメンタルに到着したクラスと先行クラスのセマンティックな類似点に関する現在のモデルを明示的に近似し、条件付けする。
これにより、モデルが類似した先行クラスからの正の転送を最大化し、可塑性を増大させ、異種前クラスに対する負の後方移動を最小化し、安定性を強化することができる。
2つのベンチマークデータセットで広範囲な実験を行い,3つの著名なクラスインクリメンタル学習手法の上に本手法(cscct)を付加した。
我々は様々な実験環境で一貫した性能改善を観察する。
関連論文リスト
- Embedding Space Allocation with Angle-Norm Joint Classifiers for Few-Shot Class-Incremental Learning [8.321592316231786]
クラス増分学習(class-incremental learning)は、少数のサンプルから新しいクラスを継続的に学習することを目的としている。
現在のクラスは機能空間全体を占有しており、新しいクラスを学ぶのに有害である。
インクリメンタルラウンドにおける少数のサンプルは、完全なトレーニングには不十分である。
論文 参考訳（メタデータ） (2024-11-14T07:31:12Z) - Covariance-based Space Regularization for Few-shot Class Incremental Learning [25.435192867105552]
FSCIL(Few-shot Class Incremental Learning)では,ラベル付きデータに制限のあるクラスを継続的に学習する必要がある。
インクリメンタルセッションにおける限られたデータのため、モデルは新しいクラスを過度に適合させ、ベースクラスの破滅的な忘れを苦しむ傾向にある。
最近の進歩は、基本クラス分布を制約し、新しいクラスの識別的表現を学習するプロトタイプベースのアプローチに頼っている。
論文 参考訳（メタデータ） (2024-11-02T08:03:04Z) - Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。
従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。
本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
論文 参考訳（メタデータ） (2024-07-08T17:09:39Z) - Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。
タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。
我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
論文 参考訳（メタデータ） (2024-03-18T17:58:13Z) - Robust Feature Learning and Global Variance-Driven Classifier Alignment
for Long-Tail Class Incremental Learning [20.267257778779992]
本稿では,長期クラスインクリメンタルラーニングの強化を目的とした2段階フレームワークを提案する。
本研究は,ロングテールクラスインクリメンタルラーニングにおいて,テールクラスの表現不足がもたらす課題に対処する。
提案するフレームワークは,任意のクラスインクリメンタル学習メソッドをモジュールとしてシームレスに統合することができる。
論文 参考訳（メタデータ） (2023-11-02T13:28:53Z) - DiGeo: Discriminative Geometry-Aware Learning for Generalized Few-Shot
Object Detection [39.937724871284665]
汎用的な少ショットオブジェクト検出は、豊富なアノテーションと限られたトレーニングデータを持つ新しいクラスで、両方のベースクラス上で正確な検出を実現することを目的としている。
既存のアプローチは、ベースクラスのパフォーマンスを犠牲にして、数ショットの一般化を促進する。
クラス間分離とクラス内コンパクト性の幾何学的特徴を学習するための新しいトレーニングフレームワークDiGeoを提案する。
論文 参考訳（メタデータ） (2023-03-16T22:37:09Z) - Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。
我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。
提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
論文 参考訳（メタデータ） (2022-04-07T17:58:07Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-03-31T13:46:41Z) - Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class Incremental Learning [141.35105358670316]
本研究では,Na"訓練初期相モデルとオラクルモデルとの相違について検討する。
より均一に散らばるように,各クラスの表現を効果的に正規化するクラスワイド・デコレーション(CwD)を提案する。
私たちのCwDは実装が簡単で、既存のメソッドに簡単にプラグインできます。
論文 参考訳（メタデータ） (2021-12-09T07:20:32Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。