論文の概要: Queried Unlabeled Data Improves and Robustifies Class-Incremental
Learning
- arxiv url: http://arxiv.org/abs/2206.07842v2
- Date: Fri, 17 Jun 2022 15:57:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 10:36:10.309838
- Title: Queried Unlabeled Data Improves and Robustifies Class-Incremental
Learning
- Title(参考訳): 問合せ未問合せデータによるクラスインクリメンタル学習の改善と堅牢化
- Authors: Tianlong Chen, Sijia Liu, Shiyu Chang, Lisa Amini, Zhangyang Wang
- Abstract要約: クラス増分学習(Class-incremental Learning, CIL)は、新たに追加されたクラスを学習することと、以前に学習したクラス知識を保存することの間の悪名高いジレンマに悩まされる。
我々は、連続学習において「自由」な外部ラベル付きデータクエリを活用することを提案する。
CIL-QUDを堅牢化したバージョンにシームレスに拡張する。
- 参考スコア(独自算出の注目度): 133.39254981496146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class-incremental learning (CIL) suffers from the notorious dilemma between
learning newly added classes and preserving previously learned class knowledge.
That catastrophic forgetting issue could be mitigated by storing historical
data for replay, which yet would cause memory overheads as well as imbalanced
prediction updates. To address this dilemma, we propose to leverage "free"
external unlabeled data querying in continual learning. We first present a CIL
with Queried Unlabeled Data (CIL-QUD) scheme, where we only store a handful of
past training samples as anchors and use them to query relevant unlabeled
examples each time. Along with new and past stored data, the queried unlabeled
are effectively utilized, through learning-without-forgetting (LwF)
regularizers and class-balance training. Besides preserving model
generalization over past and current tasks, we next study the problem of
adversarial robustness for CIL-QUD. Inspired by the recent success of learning
robust models with unlabeled data, we explore a new robustness-aware CIL
setting, where the learned adversarial robustness has to resist forgetting and
be transferred as new tasks come in continually. While existing options easily
fail, we show queried unlabeled data can continue to benefit, and seamlessly
extend CIL-QUD into its robustified versions, RCIL-QUD. Extensive experiments
demonstrate that CIL-QUD achieves substantial accuracy gains on CIFAR-10 and
CIFAR-100, compared to previous state-of-the-art CIL approaches. Moreover,
RCIL-QUD establishes the first strong milestone for robustness-aware CIL. Codes
are available in https://github.com/VITA-Group/CIL-QUD.
- Abstract(参考訳): クラスインクリメンタル学習(cil)は、新しく追加されたクラスを学習し、以前の学習したクラス知識を保存することで悪名高いジレンマに苦しむ。
この破滅的な忘れ問題は、履歴データをリプレイ用に保存することで緩和される可能性があるため、メモリオーバーヘッドや不均衡な予測更新を引き起こす可能性がある。
このジレンマに対処するために,我々は「自由」な外部ラベルのないデータクエリを連続学習に活用することを提案する。
まず,クエリなしデータ(cil-qud)スキームによるcilを提案する。そこでは,過去のトレーニングサンプルをアンカーとして保存し,関連するラベルなしの例を毎回クエリするために使用する。
新旧の保存データとともに、学習無鍛造(LwF)正規化とクラスバランストレーニングを通じて、クエリされた未ラベルを効果的に活用する。
CIL-QUDにおけるモデル一般化の過去・現在課題の保存に加えて, 対角的ロバスト性の問題についても検討する。
ラベルのないデータでロバストモデルを学ぶことの最近の成功に触発されて、我々は新しいロバスト性を認識するcil設定を探求する。
既存のオプションは容易に失敗するが、クエリ済みのラベル付きデータは引き続き利益を示し、CIL-QUDをその堅牢化バージョンであるRCIL-QUDにシームレスに拡張する。
CIL-QUD は CIFAR-10 と CIFAR-100 に対して, 従来の CIL のアプローチと比較して, かなり精度が向上することを示した。
さらに、RCIL-QUDはロバストネスを意識したCILの最初の強力なマイルストーンを確立している。
コードはhttps://github.com/VITA-Group/CIL-QUDで入手できる。
関連論文リスト
- Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。
実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
論文 参考訳(メタデータ) (2024-02-02T08:05:35Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - COOLer: Class-Incremental Learning for Appearance-Based Multiple Object
Tracking [32.47215340215641]
本稿では,連続学習研究の範囲を,複数物体追跡(MOT)のためのクラス増分学習に拡張する。
オブジェクト検出器の連続学習のための従来のソリューションは、外見に基づくトラッカーのデータ関連ステージには対応していない。
我々は,Contrastive- and cOntinual-LearningベースのトラッカーであるCOOLerを紹介した。
論文 参考訳(メタデータ) (2023-10-04T17:49:48Z) - Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free
Replay [52.251188477192336]
FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。
データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。
本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
論文 参考訳(メタデータ) (2022-07-22T17:30:51Z) - Deep Bayesian Unsupervised Lifelong Learning [3.4827140757744908]
非教師付き生涯学習(ULL)における課題の解決に着目する。
我々は、新しいエンドツーエンドのDeep Bayesian Unsupervised Lifelong Learning (DBULL)アルゴリズムを用いて、ULLのための完全なベイズ推論フレームワークを開発する。
過去の知識を効率的に維持するために,生データの潜在表現の十分な統計情報を用いて,新しい知識保存機構を開発する。
論文 参考訳(メタデータ) (2021-06-13T16:24:44Z) - ClaRe: Practical Class Incremental Learning By Remembering Previous
Class Representations [9.530976792843495]
クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。
ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。
ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
論文 参考訳(メタデータ) (2021-03-29T10:39:42Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳(メタデータ) (2021-01-02T09:04:14Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳(メタデータ) (2020-08-31T04:11:24Z) - Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。
クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。
本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文 参考訳(メタデータ) (2020-06-10T15:15:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。