論文の概要: Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2403.12030v1
• Date: Mon, 18 Mar 2024 17:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 19:01:22.185866
• Title: Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning
• Title（参考訳）: 事前学習モデルに基づくクラスインクリメンタル学習のための拡張可能なサブスペースアンサンブル
• Authors: Da-Wei Zhou, Hai-Long Sun, Han-Jia Ye, De-Chuan Zhan,
• Abstract要約: PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
• 参考スコア（独自算出の注目度）: 65.57123249246358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-Incremental Learning (CIL) requires a learning system to continually learn new classes without forgetting. Despite the strong performance of Pre-Trained Models (PTMs) in CIL, a critical issue persists: learning new classes often results in the overwriting of old ones. Excessive modification of the network causes forgetting, while minimal adjustments lead to an inadequate fit for new classes. As a result, it is desired to figure out a way of efficient model updating without harming former knowledge. In this paper, we propose ExpAndable Subspace Ensemble (EASE) for PTM-based CIL. To enable model updating without conflict, we train a distinct lightweight adapter module for each new task, aiming to create task-specific subspaces. These adapters span a high-dimensional feature space, enabling joint decision-making across multiple subspaces. As data evolves, the expanding subspaces render the old class classifiers incompatible with new-stage spaces. Correspondingly, we design a semantic-guided prototype complement strategy that synthesizes old classes' new features without using any old class instance. Extensive experiments on seven benchmark datasets verify EASE's state-of-the-art performance. Code is available at: https://github.com/sun-hailong/CVPR24-Ease
• Abstract（参考訳）: CIL(Class-Incremental Learning)は、学習システムにおいて、忘れずに新しいクラスを継続的に学習することを必要とする。 CILにおけるPTM(Pre-Trained Models)の強いパフォーマンスにもかかわらず、重要な問題は続く。 ネットワークの過剰な変更は忘れを引き起こすが、最小限の調整は新しいクラスに不適当である。 その結果,従来の知識を損なうことなく,効率的なモデル更新方法を見出すことが望まれる。 本稿では,PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 コンフリクトのないモデル更新を可能にするため、タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 これらのアダプタは高次元の特徴空間にまたがり、複数の部分空間をまたいだ共同決定を可能にする。 データが進化するにつれて、拡張サブスペースは古いクラス分類器を新しいステージ空間と互換性のないものにする。 それに対応して、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成する意味誘導型プロトタイプ補完戦略を設計する。 7つのベンチマークデータセットに対する大規模な実験は、EASEの最先端のパフォーマンスを検証する。 コードは、https://github.com/sun-hailong/CVPR24-Easeで入手できる。

関連論文リスト

• Embedding Space Allocation with Angle-Norm Joint Classifiers for Few-Shot Class-Incremental Learning [8.321592316231786]
  クラス増分学習(class-incremental learning)は、少数のサンプルから新しいクラスを継続的に学習することを目的としている。 現在のクラスは機能空間全体を占有しており、新しいクラスを学ぶのに有害である。 インクリメンタルラウンドにおける少数のサンプルは、完全なトレーニングには不十分である。
  論文  参考訳（メタデータ） (2024-11-14T07:31:12Z)
• Taxonomy-Aware Continual Semantic Segmentation in Hyperbolic Spaces for Open-World Perception [8.625083692154414]
  クラスインクリメンタルセマンティックセグメンテーションは、新しくなったクラスでモデルを更新することを目的としている。 本稿では,多言語空間における特徴埋め込みを明示的な分類木構造に従って学習するPoincar'e-Regularized Incremental Class (TOPICS)を提案する。 また、自律走行シナリオのための8つの現実的なインクリメンタル学習プロトコルを構築し、新しいクラスは既知のクラスやバックグラウンドから生まれることができる。
  論文  参考訳（メタデータ） (2024-07-25T15:49:26Z)
• Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
  既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。 我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-08T18:24:08Z)
• Incremental Few-Shot Semantic Segmentation via Embedding Adaptive-Update and Hyper-class Representation [30.558312809285905]
  EHNetは、目覚ましいアドバンテージで、最先端の新たなパフォーマンスを実現している。 PASCAL-5iとCOCOデータセットの実験により、EHNetは、目覚ましいアドバンテージで新しい最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2022-07-26T15:20:07Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Forward Compatible Few-Shot Class-Incremental Learning [71.2459746681805]
  機械学習モデルは、古いクラスを忘れずに新しいクラスを認識するべきである。 現在の手法は漸進的な学習をふりかえりに扱う。 FSCILのためのForwArd Compatible Training (FACT)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T09:36:35Z)
• Few-Shot Object Detection via Association and DIscrimination [83.8472428718097]
  AssociationとDIscriminationによるオブジェクト検出は、新しいクラスごとに2つのステップで識別可能な特徴空間を構築している。 Pascal VOCとMS-COCOデータセットの実験では、FADIは新しいSOTAパフォーマンスを実現し、ショット/スプリットのベースラインを+18.7で大幅に改善した。
  論文  参考訳（メタデータ） (2021-11-23T05:04:06Z)
• Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
  CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。 従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。 新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
  論文  参考訳（メタデータ） (2020-08-31T04:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。