論文の概要: ClaRe: Practical Class Incremental Learning By Remembering Previous
Class Representations
- arxiv url: http://arxiv.org/abs/2103.15486v1
- Date: Mon, 29 Mar 2021 10:39:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 15:20:45.944270
- Title: ClaRe: Practical Class Incremental Learning By Remembering Previous
Class Representations
- Title(参考訳): clare: 先行クラス表現を記憶した実践的クラスインクリメンタル学習
- Authors: Bahram Mohammadi and Mohammad Sabokrou
- Abstract要約: クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。
ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。
ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
- 参考スコア(独自算出の注目度): 9.530976792843495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a practical and simple yet efficient method to
effectively deal with the catastrophic forgetting for Class Incremental
Learning (CIL) tasks. CIL tends to learn new concepts perfectly, but not at the
expense of performance and accuracy for old data. Learning new knowledge in the
absence of data instances from previous classes or even imbalance samples of
both old and new classes makes CIL an ongoing challenging problem. These issues
can be tackled by storing exemplars belonging to the previous tasks or by
utilizing the rehearsal strategy. Inspired by the rehearsal strategy with the
approach of using generative models, we propose ClaRe, an efficient solution
for CIL by remembering the representations of learned classes in each
increment. Taking this approach leads to generating instances with the same
distribution of the learned classes. Hence, our model is somehow retrained from
the scratch using a new training set including both new and the generated
samples. Subsequently, the imbalance data problem is also solved. ClaRe has a
better generalization than prior methods thanks to producing diverse instances
from the distribution of previously learned classes. We comprehensively
evaluate ClaRe on the MNIST benchmark. Results show a very low degradation on
accuracy against facing new knowledge over time. Furthermore, contrary to the
most proposed solutions, the memory limitation is not problematic any longer
which is considered as a consequential issue in this research area.
- Abstract(参考訳): 本稿では,CIL(Class Incremental Learning)タスクの壊滅的忘れを効果的に扱うための,実用的でシンプルかつ効率的な方法を提案する。
CILは新しい概念を完璧に学習する傾向があるが、古いデータのパフォーマンスと正確さを犠牲にしない。
以前のクラスからデータインスタンスがない場合や、古いクラスと新しいクラスのアンバランスなサンプルが存在しない場合、新しい知識を学ぶことで、CILは進行中の課題となる。
これらの問題は、以前のタスクに属する例証を保管したり、リハーサル戦略を利用して対処することができる。
生成モデルを用いたリハーサル戦略に触発されて,各インクリメントにおける学習クラスの表現を記憶することで,CILの効率的なソリューションであるClareを提案する。
このアプローチを採用すると、学習したクラスと同じ分布を持つインスタンスが生成される。
従って、新しいモデルと生成されたサンプルの両方を含む新しいトレーニングセットを使用して、どうにかスクラッチから再トレーニングされます。
その後、不均衡データ問題も解決される。
ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
我々はmnistベンチマークのクレアを包括的に評価する。
結果は、時間とともに新しい知識に直面することに対する精度が極めて低いことを示している。
さらに、最も提案されたソリューションとは対照的に、メモリ制限はもはや問題ではない。
関連論文リスト
- Cascaded Scaling Classifier: class incremental learning with probability
scaling [4.816581623191151]
本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。
1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。
提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
論文 参考訳(メタデータ) (2024-02-02T09:33:07Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Neural Collapse Terminus: A Unified Solution for Class Incremental
Learning and Its Variants [166.916517335816]
本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。
ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。
本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
論文 参考訳(メタデータ) (2023-08-03T13:09:59Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Remind of the Past: Incremental Learning with Analogical Prompts [30.333352182303038]
即時チューニングにより,新しいデータを古いクラスに再マップするアナロジー生成機構を設計する。
これは、新しいクラスのサンプルのみを使用して、古いモデルのターゲットの古いクラスのフィーチャ分布を模倣する。
学習プロンプトは、歴史的プロトタイプの微調整による表現シフトを推定し、対処するためにさらに使用される。
論文 参考訳(メタデータ) (2023-03-24T10:18:28Z) - Deep Class-Incremental Learning: A Survey [68.21880493796442]
常に変化する世界で、新しいクラスが時々現れます。
新しいクラスのインスタンスでモデルを直接トレーニングする場合、モデルは破滅的に以前のモデルの特徴を忘れる傾向があります。
ベンチマーク画像分類タスクにおける16の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳(メタデータ) (2023-02-07T17:59:05Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Multi-Granularity Regularized Re-Balancing for Class Incremental
Learning [32.52884416761171]
ディープラーニングモデルは、新しいタスクを学ぶときに破滅的な忘れに苦しむ。
古いクラスと新しいクラスのデータの不均衡は、モデルのパフォーマンスが低下する鍵となる問題である。
この問題を解決するために,仮定に依存しないマルチグラニュラリティ正規化再バランシング法を提案する。
論文 参考訳(メタデータ) (2022-06-30T11:04:51Z) - Queried Unlabeled Data Improves and Robustifies Class-Incremental
Learning [133.39254981496146]
クラス増分学習(Class-incremental Learning, CIL)は、新たに追加されたクラスを学習することと、以前に学習したクラス知識を保存することの間の悪名高いジレンマに悩まされる。
我々は、連続学習において「自由」な外部ラベル付きデータクエリを活用することを提案する。
CIL-QUDを堅牢化したバージョンにシームレスに拡張する。
論文 参考訳(メタデータ) (2022-06-15T22:53:23Z) - Class-Incremental Learning with Generative Classifiers [6.570917734205559]
本稿では,クラス増分学習のための新しい戦略を提案する。
本提案は,p(x|y)p(y) として分解された合同分布 p(x,y) を学習し,ベイズ則を用いた分類を行うことである。
ここでは,各学習クラスに対して,変分オートエンコーダをトレーニングすることで,この戦略を実証する。
論文 参考訳(メタデータ) (2021-04-20T16:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。