論文の概要: PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2407.14029v1
• Date: Fri, 19 Jul 2024 05:03:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 18:43:32.446506
• Title: PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning
• Title（参考訳）: PASS++:非経験的クラスインクリメンタル学習のためのデュアルバイアス削減フレームワーク
• Authors: Fei Zhu, Xu-Yao Zhang, Zhen Cheng, Cheng-Lin Liu,
• Abstract要約: クラスインクリメンタルラーニング(CIL)は,旧クラスの識別性を維持しつつ,新たなクラスを段階的に認識することを目的としている。 既存のCILメソッドの多くは、例えば、古いデータの一部を格納して再トレーニングする例がある。 本稿では、入力空間における自己教師付き変換(SST)と深い特徴空間におけるプロトタイプ拡張(protoAug)を利用する、単純で斬新な二重バイアス低減フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 49.240408681098906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-incremental learning (CIL) aims to recognize new classes incrementally while maintaining the discriminability of old classes. Most existing CIL methods are exemplar-based, i.e., storing a part of old data for retraining. Without relearning old data, those methods suffer from catastrophic forgetting. In this paper, we figure out two inherent problems in CIL, i.e., representation bias and classifier bias, that cause catastrophic forgetting of old knowledge. To address these two biases, we present a simple and novel dual bias reduction framework that employs self-supervised transformation (SST) in input space and prototype augmentation (protoAug) in deep feature space. On the one hand, SST alleviates the representation bias by learning generic and diverse representations that can transfer across different tasks. On the other hand, protoAug overcomes the classifier bias by explicitly or implicitly augmenting prototypes of old classes in the deep feature space, which poses tighter constraints to maintain previously learned decision boundaries. We further propose hardness-aware prototype augmentation and multi-view ensemble strategies, leading to significant improvements. The proposed framework can be easily integrated with pre-trained models. Without storing any samples of old classes, our method can perform comparably with state-of-the-art exemplar-based approaches which store plenty of old data. We hope to draw the attention of researchers back to non-exemplar CIL by rethinking the necessity of storing old samples in CIL.
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)は,旧クラスの識別性を維持しつつ,新たなクラスを段階的に認識することを目的としている。 既存のCILメソッドの多くは、例えば、古いデータの一部を格納して再トレーニングする例がある。 古いデータを再学習しなければ、これらの方法は破滅的な忘れ物に悩まされる。 本稿では,CILに固有の2つの問題,すなわち表現バイアスと分類器バイアスが,古い知識を破滅的に忘れてしまうことを明らかにする。 これら2つのバイアスに対処するために、入力空間における自己教師付き変換(SST)と深い特徴空間におけるプロトタイプ拡張(protoAug)を利用する、単純で斬新な二重バイアス低減フレームワークを提案する。 一方、SSTは、様々なタスクをまたいで転送できる汎用的で多様な表現を学習することで、表現バイアスを軽減する。 一方、protoAugは、Deep機能空間における古いクラスのプロトタイプを明示的にまたは暗黙的に拡張することで、分類器バイアスを克服する。 さらに,ハードネスを意識したプロトタイプとマルチビューアンサンブル戦略を提案し,大幅な改善を実現した。 提案するフレームワークは、事前訓練されたモデルと容易に統合できる。 古いクラスのサンプルを格納せずに、我々の手法は、多くの古いデータを格納する最先端の先例ベースのアプローチと互換性がある。 我々は、古いサンプルをCILに保存する必要性を再考することによって、研究者の注意を非経験的なCILに引き戻したいと考えています。

関連論文リスト

• Towards Non-Exemplar Semi-Supervised Class-Incremental Learning [33.560003528712414]
  クラス増分学習は、古いクラスの識別性を保ちながら、新しいクラスを徐々に認識することを目的としている。 コントラスト学習と半教師付きインクリメンタルプロトタイプ分類器(Semi-IPC)を用いた非経験的半教師付きCILフレームワークを提案する。 Semi-IPCは教師なしの正規化で各クラスのプロトタイプを学習し、部分的にラベル付けされた新しいデータからモデルを漸進的に学習することを可能にする。
  論文  参考訳（メタデータ） (2024-03-27T06:28:19Z)
• Exemplar-Free Class Incremental Learning via Incremental Representation [26.759108983223115]
  古い擬似機能を構築することなく, efCIL のためのtextbfsimple Incremental Representation (IR) フレームワークを提案する。 IRはデータセット拡張を利用して、適切な特徴空間をカバーし、単一のL2スペースメンテナンス損失を使用することでモデルを忘れないようにしている。
  論文  参考訳（メタデータ） (2024-03-24T16:29:50Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
  既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。 我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-08T18:24:08Z)
• Class Incremental Learning with Self-Supervised Pre-Training and Prototype Learning [21.901331484173944]
  授業の段階的学習における破滅的忘れの原因を分析した。 固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。 本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
  論文  参考訳（メタデータ） (2023-08-04T14:20:42Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Memory-Free Generative Replay For Class-Incremental Learning [32.39857105540859]
  本研究では,メモリフリーな生成再生戦略を提案し,クラス特性の微粒化を抑える。 本手法は,従来のクラスを識別しやすくするために有効であることが証明された事前正規化に基づく手法によって最もよく補完される。
  論文  参考訳（メタデータ） (2021-09-01T12:19:54Z)
• ClaRe: Practical Class Incremental Learning By Remembering Previous Class Representations [9.530976792843495]
  クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。 ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。 ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
  論文  参考訳（メタデータ） (2021-03-29T10:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。