論文の概要: eCIL-MU: Embedding based Class Incremental Learning and Machine
Unlearning
- arxiv url: http://arxiv.org/abs/2401.02457v1
- Date: Thu, 4 Jan 2024 07:18:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 16:50:05.619313
- Title: eCIL-MU: Embedding based Class Incremental Learning and Machine
Unlearning
- Title(参考訳): ecil-mu:組込み型クラスインクリメンタル学習と機械学習
- Authors: Zhiwei Zuo, Zhuo Tang, Bin Wang, Kenli Li and Anwitaman Datta
- Abstract要約: 本研究では,埋め込み技術に基づく非破壊的eCIL-MUフレームワークを提案し,データをベクトルにマッピングし,ベクトルデータベースに格納する。
実験は、未学習の有効性と、アクセラレーションの桁数($sim 278times$まで)を達成する能力を示す。
- 参考スコア(独自算出の注目度): 30.247947612208034
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: New categories may be introduced over time, or existing categories may need
to be reclassified. Class incremental learning (CIL) is employed for the
gradual acquisition of knowledge about new categories while preserving
information about previously learned ones in such dynamic environments. It
might also be necessary to also eliminate the influence of related categories
on the model to adapt to reclassification. We thus introduce class-level
machine unlearning (MU) within CIL. Typically, MU methods tend to be
time-consuming and can potentially harm the model's performance. A continuous
stream of unlearning requests could lead to catastrophic forgetting. To address
these issues, we propose a non-destructive eCIL-MU framework based on embedding
techniques to map data into vectors and then be stored in vector databases. Our
approach exploits the overlap between CIL and MU tasks for acceleration.
Experiments demonstrate the capability of achieving unlearning effectiveness
and orders of magnitude (upto $\sim 278\times$) of acceleration.
- Abstract(参考訳): 新しいカテゴリは時間とともに導入され、既存のカテゴリは再分類される必要がある。
クラスインクリメンタルラーニング(CIL)は、新しいカテゴリに関する知識を段階的に取得すると同時に、そのような動的環境において以前に学習したものに関する情報を保存するために用いられる。
また、再分類に適応するために、関連するカテゴリがモデルに与える影響も排除する必要があるかもしれない。
したがって、cil内にクラスレベルマシンアンラーニング(mu)を導入する。
通常、MUメソッドは時間を要する傾向があり、モデルの性能を害する可能性がある。
非学習要求の連続的なストリームは、破滅的な忘れにつながります。
これらの問題に対処するため,埋め込み技術に基づく非破壊的eCIL-MUフレームワークを提案し,データをベクトルにマッピングし,ベクトルデータベースに格納する。
提案手法は,CILタスクとMUタスクの重なり合いを利用して高速化を行う。
実験は、未学習の有効性と等級(最大$\sim 278\times$)の加速度を達成する能力を示す。
関連論文リスト
- Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。
タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。
我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
論文 参考訳(メタデータ) (2024-03-18T17:58:13Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-08T18:24:08Z) - Deep Class-Incremental Learning: A Survey [68.21880493796442]
常に変化する世界で、新しいクラスが時々現れます。
新しいクラスのインスタンスでモデルを直接トレーニングする場合、モデルは破滅的に以前のモデルの特徴を忘れる傾向があります。
ベンチマーク画像分類タスクにおける16の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳(メタデータ) (2023-02-07T17:59:05Z) - GMM-IL: Image Classification using Incrementally Learnt, Independent
Probabilistic Models for Small Sample Sizes [0.4511923587827301]
本稿では,視覚的特徴学習と確率モデルを組み合わせた2段階アーキテクチャを提案する。
我々は、ソフトマックスヘッドを用いた等価ネットワークのベンチマークを上回り、サンプルサイズが12以下の場合の精度が向上し、3つの不均衡なクラスプロファイルに対する重み付きF1スコアが向上した。
論文 参考訳(メタデータ) (2022-12-01T15:19:42Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳(メタデータ) (2021-11-18T06:58:19Z) - Gradient-based Quadratic Multiform Separation [0.0]
我々はMichael Fanらによって最近提案された分類法である準多重形式分離(QMS)に注目した。
本稿では,QMSに基づく最適化手法であるAdamを用いて,QMS固有の損失関数を最小限に抑える分類器を提案する。
実験の結果,QMSは精度の点で,ほとんどの分類法に匹敵する性能を示した。
論文 参考訳(メタデータ) (2021-10-25T14:45:52Z) - Supervised Contrastive Replay: Revisiting the Nearest Class Mean
Classifier in Online Class-Incremental Continual Learning [17.310385256678654]
クラス増分連続学習(CL)は、オンラインの非定常データストリームから新しいクラスを継続的に学習する問題を研究する。
メモリリプレイは有望な結果を示しているが、一般的に使用されるsoftmax分類器によるオンライン学習の正規バイアスは未解決の課題である。
CLコミュニティにおいてNearest-Class-Mean(NCM)分類器は著しく過小評価されているが、Softmax分類器の単純な代替として有効であることを示す。
論文 参考訳(メタデータ) (2021-03-22T20:27:34Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳(メタデータ) (2020-08-31T04:11:24Z) - Move-to-Data: A new Continual Learning approach with Deep CNNs,
Application for image-class recognition [0.0]
トレーニング記録フェーズ」でモデルを事前トレーニングし、新しいデータに調整する必要がある。
本稿では,ニューラルネットワークの終端における高速連続学習層を提案する。
論文 参考訳(メタデータ) (2020-06-12T13:04:58Z) - Fine-Grained Visual Classification with Efficient End-to-end
Localization [49.9887676289364]
本稿では,エンド・ツー・エンドの設定において,分類ネットワークと融合可能な効率的なローカライゼーションモジュールを提案する。
我々は,CUB200-2011,Stanford Cars,FGVC-Aircraftの3つのベンチマークデータセット上で,新しいモデルを評価する。
論文 参考訳(メタデータ) (2020-05-11T14:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。