論文の概要: AOCIL: Exemplar-free Analytic Online Class Incremental Learning with Low Time and Resource Consumption
- arxiv url: http://arxiv.org/abs/2403.15751v1
- Date: Sat, 23 Mar 2024 07:39:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 21:12:36.469356
- Title: AOCIL: Exemplar-free Analytic Online Class Incremental Learning with Low Time and Resource Consumption
- Title(参考訳): AOCIL: 時間と資源消費の少ない非定型分析オンライン授業インクリメンタルラーニング
- Authors: Huiping Zhuang, Yuchen Liu, Run He, Kai Tong, Ziqian Zeng, Cen Chen, Yi Wang, Lap-Pui Chau,
- Abstract要約: Online Class Incremental Learning (OCIL) はタスクバイタスクでモデルをトレーニングすることを目的としている。
これを解決するために、リプレイベースの手法は競合する結果を示すが、データプライバシに侵入する。
分析オンライン・インクリメンタル・ラーニング (AOCIL) を提案する。
- 参考スコア(独自算出の注目度): 28.772554281694166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online Class Incremental Learning (OCIL) aims to train the model in a task-by-task manner, where data arrive in mini-batches at a time while previous data are not accessible. A significant challenge is known as Catastrophic Forgetting, i.e., loss of the previous knowledge on old data. To address this, replay-based methods show competitive results but invade data privacy, while exemplar-free methods protect data privacy but struggle for accuracy. In this paper, we proposed an exemplar-free approach -- Analytic Online Class Incremental Learning (AOCIL). Instead of back-propagation, we design the Analytic Classifier (AC) updated by recursive least square, cooperating with a frozen backbone. AOCIL simultaneously achieves high accuracy, low resource consumption and data privacy protection. We conduct massive experiments on four existing benchmark datasets, and the results demonstrate the strong capability of handling OCIL scenarios. Codes will be ready.
- Abstract(参考訳): Online Class Incremental Learning (OCIL) はタスクバイタスクでモデルをトレーニングすることを目的としている。
重要な課題は、カタストロフィック・フォージッティング(Caastrophic Forgetting)、すなわち、古いデータに関する以前の知識が失われることである。
これを解決するために、リプレイベースの手法は競合する結果を示すが、データプライバシに侵入する。
本稿では,AOCIL (Analytic Online Class Incremental Learning) を提案する。
バックプロパゲーションの代わりに、再帰最小二乗法により更新された解析分類器(AC)を凍結したバックボーンと協調して設計する。
AOCILは、高い精度、低いリソース消費、データプライバシ保護を同時に達成する。
既存の4つのベンチマークデータセットに対して大規模な実験を行い、OCILシナリオを扱う強力な能力を実証した。
コードの準備が整います。
関連論文リスト
- Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。
PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。
実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
論文 参考訳(メタデータ) (2023-10-16T13:59:56Z) - Prototype-Sample Relation Distillation: Towards Replay-Free Continual
Learning [14.462797749666992]
本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。
本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。
この手法はタスクインクリメンタル設定における最先端性能を得る。
論文 参考訳(メタデータ) (2023-03-26T16:35:45Z) - Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free
Replay [52.251188477192336]
FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。
データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。
本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
論文 参考訳(メタデータ) (2022-07-22T17:30:51Z) - Queried Unlabeled Data Improves and Robustifies Class-Incremental
Learning [133.39254981496146]
クラス増分学習(Class-incremental Learning, CIL)は、新たに追加されたクラスを学習することと、以前に学習したクラス知識を保存することの間の悪名高いジレンマに悩まされる。
我々は、連続学習において「自由」な外部ラベル付きデータクエリを活用することを提案する。
CIL-QUDを堅牢化したバージョンにシームレスに拡張する。
論文 参考訳(メタデータ) (2022-06-15T22:53:23Z) - ACIL: Analytic Class-Incremental Learning with Absolute Memorization and
Privacy Protection [24.971575257217715]
クラス増分学習(CIL)は、段階的に異なるクラスのトレーニングデータを持つ分類モデルを学習する。
線形学習の定式化に着想を得て,過去の知識を絶対記憶した分析クラス増分学習(ACIL)を提案する。
論文 参考訳(メタデータ) (2022-05-30T08:41:56Z) - Online Continual Learning with Natural Distribution Shifts: An Empirical
Study with Visual Data [101.6195176510611]
オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。
オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。
本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2021-08-20T06:17:20Z) - Always Be Dreaming: A New Approach for Data-Free Class-Incremental
Learning [73.24988226158497]
データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。
そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。
本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
論文 参考訳(メタデータ) (2021-06-17T17:56:08Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。