論文の概要: Deep Class-Incremental Learning: A Survey
- arxiv url: http://arxiv.org/abs/2302.03648v1
- Date: Tue, 7 Feb 2023 17:59:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-08 15:19:51.335434
- Title: Deep Class-Incremental Learning: A Survey
- Title(参考訳): ディープ・クラス・インクリメンタル・ラーニング:調査
- Authors: Da-Wei Zhou, Qi-Wei Wang, Zhi-Hong Qi, Han-Jia Ye, De-Chuan Zhan,
Ziwei Liu
- Abstract要約: 常に変化する世界で、新しいクラスが時々現れます。
新しいクラスのインスタンスでモデルを直接トレーニングする場合、モデルは破滅的に以前のモデルの特徴を忘れる傾向があります。
ベンチマーク画像分類タスクにおける16の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
- 参考スコア(独自算出の注目度): 68.21880493796442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep models, e.g., CNNs and Vision Transformers, have achieved impressive
achievements in many vision tasks in the closed world. However, novel classes
emerge from time to time in our ever-changing world, requiring a learning
system to acquire new knowledge continually. For example, a robot needs to
understand new instructions, and an opinion monitoring system should analyze
emerging topics every day. Class-Incremental Learning (CIL) enables the learner
to incorporate the knowledge of new classes incrementally and build a universal
classifier among all seen classes. Correspondingly, when directly training the
model with new class instances, a fatal problem occurs -- the model tends to
catastrophically forget the characteristics of former ones, and its performance
drastically degrades. There have been numerous efforts to tackle catastrophic
forgetting in the machine learning community. In this paper, we survey
comprehensively recent advances in deep class-incremental learning and
summarize these methods from three aspects, i.e., data-centric, model-centric,
and algorithm-centric. We also provide a rigorous and unified evaluation of 16
methods in benchmark image classification tasks to find out the characteristics
of different algorithms empirically. Furthermore, we notice that the current
comparison protocol ignores the influence of memory budget in model storage,
which may result in unfair comparison and biased results. Hence, we advocate
fair comparison by aligning the memory budget in evaluation, as well as several
memory-agnostic performance measures. The source code to reproduce these
evaluations is available at https://github.com/zhoudw-zdw/CIL_Survey/
- Abstract(参考訳): 深層モデル、例えばcnnや視覚トランスフォーマーは、閉じた世界で多くの視覚タスクで素晴らしい成果を上げています。
しかし、常に変化する世界において、新しいクラスが時々出現し、学習システムが新しい知識を継続的に獲得する必要がある。
例えば、ロボットは新しい指示を理解する必要があり、意見監視システムは毎日新しいトピックを分析しなければならない。
CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れ、すべてのクラスに普遍的な分類器を構築することを可能にする。
それに対応して、モデルを新しいクラスのインスタンスで直接トレーニングする場合、致命的な問題が発生します。
機械学習コミュニティでは、破滅的な忘れようという取り組みが数多く行われている。
本稿では,深層学習の最近の進歩を包括的に調査し,これらの手法をデータ中心,モデル中心,アルゴリズム中心の3つの側面から要約する。
また,ベンチマーク画像分類タスクにおける16手法の厳密で統一的な評価を行い,異なるアルゴリズムの特性を実証的に把握した。
さらに,現在の比較プロトコルは,モデル記憶におけるメモリ予算の影響を無視しており,不公平な比較結果や偏りが生じる可能性がある。
したがって、評価におけるメモリ予算の調整と、メモリに依存しないいくつかのパフォーマンス指標による公正な比較を提唱する。
これらの評価を再現するソースコードはhttps://github.com/zhoudw-zdw/cil_survey/で入手できる。
関連論文リスト
- Class Incremental Learning with Self-Supervised Pre-Training and
Prototype Learning [21.901331484173944]
授業の段階的学習における破滅的忘れの原因を分析した。
固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。
本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
論文 参考訳(メタデータ) (2023-08-04T14:20:42Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳(メタデータ) (2022-11-15T18:57:46Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Novel Class Discovery without Forgetting [72.52222295216062]
我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。
ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。
CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
論文 参考訳(メタデータ) (2022-07-21T17:54:36Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2022-03-31T13:46:41Z) - A Comparative Study of Calibration Methods for Imbalanced Class
Incremental Learning [10.680349952226935]
不均衡なデータセットから漸進的に学習する問題を考察する。
インクリメンタルな状態にまたがって古いクラスの例を格納するために、バウンダリメモリを使用します。
より単純なバニラファインチューニングは、不均衡なインクリメンタル学習アルゴリズムのための強力なバックボーンであることを示す。
論文 参考訳(メタデータ) (2022-02-01T12:56:17Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳(メタデータ) (2021-11-18T06:58:19Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳(メタデータ) (2021-04-07T10:54:51Z) - ClaRe: Practical Class Incremental Learning By Remembering Previous
Class Representations [9.530976792843495]
クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。
ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。
ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
論文 参考訳(メタデータ) (2021-03-29T10:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。