論文の概要: Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning
- arxiv url: http://arxiv.org/abs/2312.12722v1
- Date: Wed, 20 Dec 2023 02:34:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 17:01:03.225278
- Title: Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning
- Title(参考訳): 非例クラスインクリメンタルラーニングのための細粒度知識選択と復元
- Authors: Jiang-Tian Zhai, Xialei Liu, Lu Yu, Ming-Ming Cheng
- Abstract要約: 非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。
本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
- 参考スコア(独自算出の注目度): 64.14254712331116
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Non-exemplar class incremental learning aims to learn both the new and old
tasks without accessing any training data from the past. This strict
restriction enlarges the difficulty of alleviating catastrophic forgetting
since all techniques can only be applied to current task data. Considering this
challenge, we propose a novel framework of fine-grained knowledge selection and
restoration. The conventional knowledge distillation-based methods place too
strict constraints on the network parameters and features to prevent
forgetting, which limits the training of new tasks. To loose this constraint,
we proposed a novel fine-grained selective patch-level distillation to
adaptively balance plasticity and stability. Some task-agnostic patches can be
used to preserve the decision boundary of the old task. While some patches
containing the important foreground are favorable for learning the new task.
Moreover, we employ a task-agnostic mechanism to generate more realistic
prototypes of old tasks with the current task sample for reducing classifier
bias for fine-grained knowledge restoration. Extensive experiments on CIFAR100,
TinyImageNet and ImageNet-Subset demonstrate the effectiveness of our method.
Code is available at https://github.com/scok30/vit-cil.
- Abstract(参考訳): 非例のクラスインクリメンタル学習は、過去のトレーニングデータにアクセスせずに、新しいタスクと古いタスクの両方を学ぶことを目的としている。
この厳格な制限は、現在のタスクデータにのみ適用できるため、破滅的な忘れを緩和する難しさを増大させる。
この課題を考慮すると、我々はきめ細かい知識の選択と復元の新しい枠組みを提案する。
従来の知識蒸留法では, ネットワークパラメータや特徴に厳密な制約を課し, 新たなタスクの訓練を制限している。
この制約を緩和するため,我々は可塑性と安定性を適応的にバランスさせる新しい細粒度選択的パッチレベル蒸留法を提案した。
タスクに依存しないいくつかのパッチは、古いタスクの決定境界を保存するために使用することができる。
重要なフォアグラウンドを含むパッチは、新しいタスクを学ぶのに適している。
さらに,従来のタスクのより現実的なプロトタイプを生成するためのタスク非依存機構を現在のタスクサンプルに導入し,きめ細かい知識復元のための分類器バイアスを低減する。
CIFAR100, TinyImageNet, ImageNet-Subsetの大規模実験により, 本手法の有効性が示された。
コードはhttps://github.com/scok30/vit-cilで入手できる。
関連論文リスト
- MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning
for Multimodal Video Captioning [10.95493493610559]
マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。
特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。
公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
論文 参考訳(メタデータ) (2024-02-27T16:54:08Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Clustering-based Domain-Incremental Learning [4.835091081509403]
連続学習における鍵となる課題は、いわゆる「破滅的な忘れ問題」である。
動的に更新されたサンプルや勾配の有限プールに対するオンラインクラスタリングに基づくアプローチを提案する。
提案手法の有効性と将来性を示す。
論文 参考訳(メタデータ) (2023-09-21T13:49:05Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment
Regularization [57.71118589124002]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - CLR: Channel-wise Lightweight Reprogramming for Continual Learning [63.94773340278971]
継続的な学習は、逐次的なタスクを通じて継続的に知識を蓄積する人間の能力をエミュレートすることを目的としている。
主な課題は、新しいタスクを学習した後、以前に学習したタスクのパフォーマンスを維持することである。
本稿では、畳み込みニューラルネットワークが破滅的な忘れを克服するのに役立つチャネルワイドなライトウェイト・リプログラミング手法を提案する。
論文 参考訳(メタデータ) (2023-07-21T06:56:21Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - SID: Incremental Learning for Anchor-Free Object Detection via Selective
and Inter-Related Distillation [16.281712605385316]
増分学習は、ストリーミングデータから新しいタスクを継続的に学習するモデルを必要とする。
新しいタスクでよく訓練されたディープニューラルネットワークの従来の微調整は、古いタスクのパフォーマンスを劇的に低下させる。
SID(Selective and Inter-related Distillation)と呼ばれる新しい漸進的学習パラダイムを提案する。
論文 参考訳(メタデータ) (2020-12-31T04:12:06Z) - Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。
クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。
本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文 参考訳(メタデータ) (2020-06-10T15:15:27Z) - iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。
ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。
遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
論文 参考訳(メタデータ) (2020-03-25T21:42:48Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳(メタデータ) (2020-03-17T13:40:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。