論文の概要: Dynamic Feature Learning and Matching for Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2405.08533v1
• Date: Tue, 14 May 2024 12:17:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 14:18:43.160726
• Title: Dynamic Feature Learning and Matching for Class-Incremental Learning
• Title（参考訳）: クラス増分学習のための動的特徴学習とマッチング
• Authors: Sunyuan Qiang, Yanyan Liang, Jun Wan, Du Zhang,
• Abstract要約: CIL(Class-incremental Learning)は,従来のクラスを破滅的に忘れることなく,新しいクラスを学習する方法として登場した。 本稿では,動的特徴学習とマッチング(DFLM)モデルを提案する。 提案手法は既存手法に比べて大幅な性能向上を実現している。
• 参考スコア（独自算出の注目度）: 20.432575325147894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-incremental learning (CIL) has emerged as a means to learn new classes incrementally without catastrophic forgetting of previous classes. Recently, CIL has undergone a paradigm shift towards dynamic architectures due to their superior performance. However, these models are still limited by the following aspects: (i) Data augmentation (DA), which are tightly coupled with CIL, remains under-explored in dynamic architecture scenarios. (ii) Feature representation. The discriminativeness of dynamic feature are sub-optimal and possess potential for refinement. (iii) Classifier. The misalignment between dynamic feature and classifier constrains the capabilities of the model. To tackle the aforementioned drawbacks, we propose the Dynamic Feature Learning and Matching (DFLM) model in this paper from above three perspectives. Specifically, we firstly introduce class weight information and non-stationary functions to extend the mix DA method for dynamically adjusting the focus on memory during training. Then, von Mises-Fisher (vMF) classifier is employed to effectively model the dynamic feature distribution and implicitly learn their discriminative properties. Finally, the matching loss is proposed to facilitate the alignment between the learned dynamic features and the classifier by minimizing the distribution distance. Extensive experiments on CIL benchmarks validate that our proposed model achieves significant performance improvements over existing methods.
• Abstract（参考訳）: CIL(Class-incremental Learning)は,従来のクラスを壊滅的に忘れることなく,新たなクラスを段階的に学習する手段として登場した。 近年、CILは優れたパフォーマンスのため、動的アーキテクチャへのパラダイムシフトが実施されている。 しかし、これらのモデルはまだ以下の点で制限されている。 (i)CILと密結合したデータ拡張(DA)は、動的アーキテクチャのシナリオでは未解明のままである。 (ii)特徴表現。 動的特徴の識別性は準最適であり、洗練の可能性を秘めている。 (iii)分類器。 動的特徴と分類器のミスアライメントはモデルの能力を制約します。 上記の欠点に対処するため,本稿では3つの視点から,動的特徴学習とマッチング(DFLM)モデルを提案する。 具体的には、まずクラスウェイト情報と非定常関数を導入し、トレーニング中のメモリへのフォーカスを動的に調整するmix DA法を拡張した。 次に、von Mises-Fisher (vMF) 分類器を用いて、動的特徴分布を効果的にモデル化し、その識別特性を暗黙的に学習する。 最後に,学習した動的特徴量と分類器とのアライメントを容易にするために,分布距離を最小化してマッチング損失を提案する。 CILベンチマークの大規模な実験により,提案手法が既存手法よりも大幅な性能向上を実現することを確認した。

関連論文リスト

• SOLD: Reinforcement Learning with Slot Object-Centric Latent Dynamics [16.020835290802548]
  Slot-Attention for Object-centric Latent Dynamicsは、画素入力からオブジェクト中心の動的モデルを学ぶ新しいアルゴリズムである。 構造化潜在空間は、モデル解釈可能性を改善するだけでなく、振る舞いモデルが推論する価値のある入力空間も提供することを実証する。 以上の結果から,SOLDは,最先端のモデルベースRLアルゴリズムであるDreamerV3よりも,さまざまなベンチマークロボット環境において優れていた。
  論文  参考訳（メタデータ） (2024-10-11T14:03:31Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Continual Learning with Optimal Transport based Mixture Model [17.398605698033656]
  成熟最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。 提案手法は,現在の最先端のベースラインを大きく上回ることができる。
  論文  参考訳（メタデータ） (2022-11-30T06:40:29Z)
• Incremental Few-Shot Semantic Segmentation via Embedding Adaptive-Update and Hyper-class Representation [30.558312809285905]
  EHNetは、目覚ましいアドバンテージで、最先端の新たなパフォーマンスを実現している。 PASCAL-5iとCOCOデータセットの実験により、EHNetは、目覚ましいアドバンテージで新しい最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2022-07-26T15:20:07Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Self-Promoted Prototype Refinement for Few-Shot Class-Incremental Learning [81.10531943939365]
  クラスインクリメンタルな学習は、サンプルが少ないと新しいクラスを認識し、古いクラスを忘れないことである。 本稿では,様々なエピソードに特徴表現を適応させる新しいインクリメンタルなプロトタイプ学習手法を提案する。 3つのベンチマークデータセットの実験では、上記の段階的なパフォーマンスを示し、それぞれ13%、17%、11%のマージンで最先端のメソッドを上回っている。
  論文  参考訳（メタデータ） (2021-07-19T14:31:33Z)
• Dynamic Memory Induction Networks for Few-Shot Text Classification [84.88381813651971]
  本稿では,テキスト分類のための動的メモリ誘導ネットワーク(DMIN)を提案する。 提案したモデルでは, miniRCV1 と ODIC データセット上での新たな最先端結果を実現し,最高の性能(精度)を24%向上させる。
  論文  参考訳（メタデータ） (2020-05-12T12:41:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。