論文の概要: Feature Expansion and enhanced Compression for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2405.08038v1
• Date: Mon, 13 May 2024 06:57:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 16:06:44.698762
• Title: Feature Expansion and enhanced Compression for Class Incremental Learning
• Title（参考訳）: 授業増分学習における特徴拡張と圧縮強化
• Authors: Quentin Ferdinand, Gilles Le Chenadec, Benoit Clement, Panagiotis Papadakis, Quentin Oliveau,
• Abstract要約: 本稿では,従来のクラスサンプルのパッチを圧縮中に新しいイメージに切り混ぜることで,従来のクラス知識の圧縮を強化するアルゴリズムを提案する。 この新たなデータ拡張により,過去のクラス情報を特にターゲットとし,圧縮を改善することで,破滅的な忘れを低減できることを示す。
• 参考スコア（独自算出の注目度）: 3.3425792454347616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class incremental learning consists in training discriminative models to classify an increasing number of classes over time. However, doing so using only the newly added class data leads to the known problem of catastrophic forgetting of the previous classes. Recently, dynamic deep learning architectures have been shown to exhibit a better stability-plasticity trade-off by dynamically adding new feature extractors to the model in order to learn new classes followed by a compression step to scale the model back to its original size, thus avoiding a growing number of parameters. In this context, we propose a new algorithm that enhances the compression of previous class knowledge by cutting and mixing patches of previous class samples with the new images during compression using our Rehearsal-CutMix method. We show that this new data augmentation reduces catastrophic forgetting by specifically targeting past class information and improving its compression. Extensive experiments performed on the CIFAR and ImageNet datasets under diverse incremental learning evaluation protocols demonstrate that our approach consistently outperforms the state-of-the-art . The code will be made available upon publication of our work.
• Abstract（参考訳）: クラスインクリメンタルラーニングは、時間とともに増加するクラスを分類するために差別モデルを訓練する。 しかし、新たに追加されたクラスデータのみを使用して行うと、以前のクラスを破滅的に忘れてしまうという既知の問題が発生する。 近年,動的深層学習アーキテクチャは,新しいクラスを学習するために,新しい特徴抽出器を動的に追加することにより,安定性と塑性のトレードオフが向上していることが示されている。 そこで本研究では,Rehearsal-CutMix法を用いて,従来のクラスサンプルのパッチを圧縮中に新しい画像に混入することにより,従来のクラス知識の圧縮を強化するアルゴリズムを提案する。 この新たなデータ拡張により,過去のクラス情報を特にターゲットとし,圧縮を改善することで,破滅的な忘れを低減できることを示す。 CIFARとImageNetのデータセットを多種多様な漸進的な学習評価プロトコルで実験した結果、我々のアプローチは最先端の.NETモデルよりも一貫して優れていることが示された。 コードは私たちの作品の公開時に公開されます。

関連論文リスト

• CEAT: Continual Expansion and Absorption Transformer for Non-Exemplar Class-Incremental Learning [34.59310641291726]
  現実のアプリケーションでは、動的シナリオは、古い知識を忘れずに新しいタスクを継続的に学習する能力を持つ必要がある。 連続膨張吸収変圧器(CEAT)という新しいアーキテクチャを提案する。 このモデルは、凍結した前のパラメータと平行に拡散層を拡張することで、新しい知識を学ぶことができる。 モデルの学習能力を向上させるために,特徴空間における古クラスと新クラスの重複を低減するために,新しいプロトタイプを設計した。
  論文  参考訳（メタデータ） (2024-03-11T12:40:12Z)
• Class-Incremental Learning using Diffusion Model for Distillation and Replay [5.0977390531431634]
  クラス増分学習は、以前学習したクラスを忘れずに、段階的に新しいクラスを学習することを目的としている。 本稿では,クラス増分学習のための追加データ源として,事前訓練された安定拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-30T11:23:49Z)
• Non-exemplar Class-incremental Learning by Random Auxiliary Classes Augmentation and Mixed Features [37.51376572211081]
  クラス増分学習(クラス増分学習)とは、古いクラスのサンプルを保存することなく、新しいクラスと古いクラスを分類することである。 本稿では,Random Auxiliary Class Augmentation と Mixed Feature を組み合わせたRAMF と呼ばれる実効非経験的手法を提案する。
  論文  参考訳（メタデータ） (2023-04-16T06:33:43Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Subspace Regularizers for Few-Shot Class Incremental Learning [26.372024890126408]
  既存のクラスの重みに代表される部分空間に近づき、新しいクラスに対する重みベクトルを奨励する、新しい部分空間正規化スキームの族を示す。 この結果から,クラス表現の幾何学的正則化は連続学習に有効なツールであることが示唆された。
  論文  参考訳（メタデータ） (2021-10-13T22:19:53Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)
• Half-Real Half-Fake Distillation for Class-Incremental Semantic Segmentation [84.1985497426083]
  畳み込みニューラルネットワークは漸進的な学習に不適である。 新しいクラスは利用できるが、初期トレーニングデータは保持されない。 訓練されたセグメンテーションネットワークを「反転」して、ランダムノイズから始まる入力画像の合成を試みる。
  論文  参考訳（メタデータ） (2021-04-02T03:47:16Z)
• On the Exploration of Incremental Learning for Fine-grained Image Retrieval [45.48333682748607]
  我々は,新たなカテゴリが時間とともに追加される場合に,細粒度画像検索の問題を漸進的に考慮する。 本稿では,検索性能の劣化を抑えるための漸進学習手法を提案する。 提案手法は,新しいクラスにおいて高い性能を保ちながら,元のクラスにおける破滅的な忘れを効果的に軽減する。
  論文  参考訳（メタデータ） (2020-10-15T21:07:44Z)
• Memory-Efficient Incremental Learning Through Feature Adaptation [71.1449769528535]
  本稿では,以前学習したクラスから,画像の特徴記述子を保存するインクリメンタルラーニングのアプローチを提案する。 画像のより低次元の機能埋め込みを維持することで、メモリフットプリントが大幅に削減される。 実験の結果,インクリメンタルラーニングベンチマークにおいて,最先端の分類精度が得られた。
  論文  参考訳（メタデータ） (2020-04-01T21:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。