論文の概要: Resurrecting Old Classes with New Data for Exemplar-Free Continual Learning

• arxiv url: http://arxiv.org/abs/2405.19074v1
• Date: Wed, 29 May 2024 13:31:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 17:10:39.185710
• Title: Resurrecting Old Classes with New Data for Exemplar-Free Continual Learning
• Title（参考訳）: 初歩的な継続学習のための新しいデータを用いた旧クラスの復活
• Authors: Dipam Goswami, Albin Soutif--Cormerais, Yuyang Liu, Sandesh Kamath, Bartłomiej Twardowski, Joost van de Weijer,
• Abstract要約: 継続的な学習方法は破滅的な忘れ込みに苦しむことが知られている。 既存のexemplar-freeメソッドは、通常、最初のタスクがその後のタスクよりもかなり大きい設定で評価される。 本稿では, 従来のモデル埋め込み空間において, 組込みが旧型プロトタイプに近いように, 現在のサンプルを逆向きに摂動させることを提案する。 次に,従来のモデルから新しいモデルへの埋め込み空間のドリフトを摂動画像を用いて推定し,それに応じてプロトタイプを補償する。
• 参考スコア（独自算出の注目度）: 13.264972882846966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning methods are known to suffer from catastrophic forgetting, a phenomenon that is particularly hard to counter for methods that do not store exemplars of previous tasks. Therefore, to reduce potential drift in the feature extractor, existing exemplar-free methods are typically evaluated in settings where the first task is significantly larger than subsequent tasks. Their performance drops drastically in more challenging settings starting with a smaller first task. To address this problem of feature drift estimation for exemplar-free methods, we propose to adversarially perturb the current samples such that their embeddings are close to the old class prototypes in the old model embedding space. We then estimate the drift in the embedding space from the old to the new model using the perturbed images and compensate the prototypes accordingly. We exploit the fact that adversarial samples are transferable from the old to the new feature space in a continual learning setting. The generation of these images is simple and computationally cheap. We demonstrate in our experiments that the proposed approach better tracks the movement of prototypes in embedding space and outperforms existing methods on several standard continual learning benchmarks as well as on fine-grained datasets. Code is available at https://github.com/dipamgoswami/ADC.
• Abstract（参考訳）: 連続的な学習手法は破滅的な忘れ込みに悩まされることが知られており、これは特に過去のタスクの例えを記憶しない方法に対抗するのが難しい現象である。 したがって、特徴抽出器における潜在的なドリフトを低減するため、既存の例のない手法は、通常、最初のタスクがその後のタスクよりもかなり大きい設定で評価される。 彼らのパフォーマンスは、より小さな最初のタスクから始めて、より困難な設定で大幅に低下します。 そこで本研究では, 従来のモデル埋め込み空間において, 従来のモデル埋め込みのプロトタイプに近いように, 現在のサンプルを逆向きに摂動する手法を提案する。 次に,従来のモデルから新しいモデルへの埋め込み空間のドリフトを摂動画像を用いて推定し,それに応じてプロトタイプを補償する。 本研究は, 対戦型サンプルが, 継続学習環境において, 従来の特徴空間から新しい特徴空間へ移動可能であることを生かしている。 これらの画像の生成は単純で、計算的にも安価である。 提案手法は,組込み空間におけるプロトタイプの動作をよりよく追跡し,いくつかの標準連続学習ベンチマークやきめ細かいデータセット上で既存の手法より優れていることを示す。 コードはhttps://github.com/dipamgoswami/ADC.comで入手できる。

関連論文リスト

• Efficient Non-Exemplar Class-Incremental Learning with Retrospective Feature Synthesis [21.348252135252412]
  現在のNon-Exemplar Class-Incremental Learning (NECIL)メソッドは、クラス毎に1つのプロトタイプを格納することで、忘れを軽減している。 そこで本研究では,より効率的なNECIL手法を提案する。 提案手法は,非経験的クラスインクリメンタル学習の効率を大幅に向上させ,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-11-03T07:19:11Z)
• PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning [49.240408681098906]
  クラスインクリメンタルラーニング(CIL)は,旧クラスの識別性を維持しつつ,新たなクラスを段階的に認識することを目的としている。 既存のCILメソッドの多くは、例えば、古いデータの一部を格納して再トレーニングする例がある。 本稿では、入力空間における自己教師付き変換(SST)と深い特徴空間におけるプロトタイプ拡張(protoAug)を利用する、単純で斬新な二重バイアス低減フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-19T05:03:16Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
  本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。 PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。 実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
  論文  参考訳（メタデータ） (2023-10-16T13:59:56Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Prototype-Sample Relation Distillation: Towards Replay-Free Continual Learning [14.462797749666992]
  本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。 本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。 この手法はタスクインクリメンタル設定における最先端性能を得る。
  論文  参考訳（メタデータ） (2023-03-26T16:35:45Z)
• Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
  改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。 我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。 提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
  論文  参考訳（メタデータ） (2022-11-05T17:19:14Z)
• Static-Dynamic Co-Teaching for Class-Incremental 3D Object Detection [71.18882803642526]
  ディープラーニングアプローチは、3Dオブジェクト検出タスクにおいて顕著なパフォーマンスを示している。 古いデータを再考することなく、新しいクラスを漸進的に学習するときに、破滅的なパフォーマンス低下に悩まされる。 この「破滅的な忘れ物」現象は、現実世界のシナリオにおける3Dオブジェクト検出アプローチの展開を妨げる。 SDCoTは,新しい静的なコティーチング手法である。
  論文  参考訳（メタデータ） (2021-12-14T09:03:41Z)
• Bridging Non Co-occurrence with Unlabeled In-the-wild Data for Incremental Object Detection [56.22467011292147]
  物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。 有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。 そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
  論文  参考訳（メタデータ） (2021-10-28T10:57:25Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。