論文の概要: Future-Proofing Class Incremental Learning
- arxiv url: http://arxiv.org/abs/2404.03200v1
- Date: Thu, 4 Apr 2024 05:08:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 15:43:35.638177
- Title: Future-Proofing Class Incremental Learning
- Title(参考訳): これからの授業インクリメンタルラーニング
- Authors: Quentin Jodelet, Xin Liu, Yin Jun Phua, Tsuyoshi Murata,
- Abstract要約: 本稿では,事前学習したテキストと画像の拡散モデルを用いて,将来のクラスの合成画像を生成し,特徴抽出器を訓練する。
CIFAR100 と ImageNet-Subset の標準ベンチマーク実験により,提案手法は非正規クラスインクリメンタルラーニングにおける最先端手法の改善に有効であることが示された。
- 参考スコア(独自算出の注目度): 4.666429553461402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exemplar-Free Class Incremental Learning is a highly challenging setting where replay memory is unavailable. Methods relying on frozen feature extractors have drawn attention recently in this setting due to their impressive performances and lower computational costs. However, those methods are highly dependent on the data used to train the feature extractor and may struggle when an insufficient amount of classes are available during the first incremental step. To overcome this limitation, we propose to use a pre-trained text-to-image diffusion model in order to generate synthetic images of future classes and use them to train the feature extractor. Experiments on the standard benchmarks CIFAR100 and ImageNet-Subset demonstrate that our proposed method can be used to improve state-of-the-art methods for exemplar-free class incremental learning, especially in the most difficult settings where the first incremental step only contains few classes. Moreover, we show that using synthetic samples of future classes achieves higher performance than using real data from different classes, paving the way for better and less costly pre-training methods for incremental learning.
- Abstract(参考訳): Exemplar-Free Class Incremental Learningは、リプレイメモリが利用できない非常に困難な設定である。
凍結した特徴抽出器に依存する手法が近年注目されているのは,その優れた性能と計算コストの低下である。
しかし,これらの手法は特徴抽出器の訓練に使用するデータに強く依存しており,第1段階の段階において不十分なクラスが利用可能になった場合に苦労する可能性がある。
この制限を克服するため、将来クラスの合成画像を生成し、特徴抽出器を訓練するために、事前訓練されたテキスト・画像拡散モデルを提案する。
CIFAR100 と ImageNet-Subset の標準ベンチマーク実験では,特に第1段階のインクリメンタルステップにクラスがほとんど含まれていない場合において,提案手法は,非正規クラスインクリメンタルラーニングにおける最先端の手法の改善に有効であることが示された。
さらに,将来の授業の合成サンプルを用いることで,異なるクラスの実データよりも高い性能が得られることを示す。
関連論文リスト
- RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - Class-Incremental Learning using Diffusion Model for Distillation and
Replay [5.0977390531431634]
クラス増分学習は、以前学習したクラスを忘れずに、段階的に新しいクラスを学習することを目的としている。
本稿では,クラス増分学習のための追加データ源として,事前訓練された安定拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-06-30T11:23:49Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T20:30:55Z) - Cross-Class Feature Augmentation for Class Incremental Learning [45.91253737682168]
本稿では,敵対的攻撃を動機とした機能強化手法を取り入れた新しいクラスインクリメンタルラーニング手法を提案する。
提案手法は,任意の対象クラスの特徴を増大させるため,クラスインクリメンタルラーニングにおける従来の知識を活用するためのユニークな視点を持つ。
提案手法は,様々なシナリオにおいて,既存の段階的学習手法を著しく上回っている。
論文 参考訳(メタデータ) (2023-04-04T15:48:09Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳(メタデータ) (2022-12-09T13:22:27Z) - SURF: Semi-supervised Reward Learning with Data Augmentation for
Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。
報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。
本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
論文 参考訳(メタデータ) (2022-03-18T16:50:38Z) - EASY: Ensemble Augmented-Shot Y-shaped Learning: State-Of-The-Art
Few-Shot Classification with Simple Ingredients [2.0935101589828244]
1つ以上のディープラーニングモデルで学習した知識を活用することを目的として,新しい問題に対する優れた分類性能を得る。
フィールドの標準化された複数のベンチマークで、アートパフォーマンスの状態を達成または打ち負かすような、シンプルな手法を提案する。
論文 参考訳(メタデータ) (2022-01-24T14:08:23Z) - Always Be Dreaming: A New Approach for Data-Free Class-Incremental
Learning [73.24988226158497]
データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。
そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。
本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
論文 参考訳(メタデータ) (2021-06-17T17:56:08Z) - Tensor feature hallucination for few-shot learning [17.381648488344222]
限られた監督と限られたデータによって、サンプルを分類するという課題に対処するショットは少ない。
数ショット分類のための合成データ生成に関するこれまでの研究は、複雑なモデルを活用することに重点を置いていた。
本稿では,単純かつ簡単な合成データ生成手法を効果的に利用する方法を検討する。
論文 参考訳(メタデータ) (2021-06-09T18:25:08Z) - Class-incremental Learning using a Sequence of Partial Implicitly
Regularized Classifiers [0.0]
クラス増分学習では、トレーニングデータ全体にアクセスすることなく、複数のクラスを順次学習することが目的である。
CIFAR100データセットの実験では、提案手法がSOTAの性能を大きなマージンで向上させることが示された。
論文 参考訳(メタデータ) (2021-04-04T10:02:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。