論文の概要: Knowledge Restore and Transfer for Multi-label Class-Incremental
Learning
- arxiv url: http://arxiv.org/abs/2302.13334v1
- Date: Sun, 26 Feb 2023 15:34:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 17:46:04.035400
- Title: Knowledge Restore and Transfer for Multi-label Class-Incremental
Learning
- Title(参考訳): 多段学習における知識の復元と伝達
- Authors: Songlin Dong, Haoyu Luo, Yuhang He, Xing Wei Yihong Gong
- Abstract要約: マルチラベルクラス増分学習(MLCIL)のための知識復元・伝達(KRT)フレームワークを提案する。
KRTには、古いクラスの知識を復元するための動的擬似ラベル(DPL)モジュールと、セッション固有の知識を保存し、古いクラスの知識を新しいモデルに十分に転送するインクリメンタルなクロスアテンション(ICA)モジュールが含まれている。
MS-COCOとPASCALのVOCデータセットによる実験結果から,認識性能の向上と忘れの軽減を目的とした手法の有効性が示された。
- 参考スコア(独自算出の注目度): 10.047426471451317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current class-incremental learning research mainly focuses on single-label
classification tasks while multi-label class-incremental learning (MLCIL) with
more practical application scenarios is rarely studied. Although there have
been many anti-forgetting methods to solve the problem of catastrophic
forgetting in class-incremental learning, these methods have difficulty in
solving the MLCIL problem due to label absence and information dilution. In
this paper, we propose a knowledge restore and transfer (KRT) framework for
MLCIL, which includes a dynamic pseudo-label (DPL) module to restore the old
class knowledge and an incremental cross-attention(ICA) module to save
session-specific knowledge and transfer old class knowledge to the new model
sufficiently. Besides, we propose a token loss to jointly optimize the
incremental cross-attention module. Experimental results on MS-COCO and PASCAL
VOC datasets demonstrate the effectiveness of our method for improving
recognition performance and mitigating forgetting on multi-label
class-incremental learning tasks.
- Abstract(参考訳): 近年の授業インクリメンタルラーニング研究は主に単段分類タスクに焦点を当てているが、より実用的な応用シナリオを持つマルチラベルクラスインクリメンタルラーニング(mlcil)はほとんど研究されていない。
クラス増分学習における破滅的な忘れを解くためのアンチフォージェッティング法は数多く存在するが、ラベルの欠如や情報希釈によるMLCIL問題の解決には困難である。
本稿では,古いクラス知識を復元するための動的擬似ラベル(DPL)モジュールと,セッション固有の知識を保存し,古いクラス知識を新しいモデルに十分に転送するための漸進的クロスアテンション(ICA)モジュールを含む,LCILのための知識復元・転送(KRT)フレームワークを提案する。
さらに,インクリメンタルなクロスアテンションモジュールを共同で最適化するトークンロスを提案する。
MS-COCO と PASCAL VOC データセットによる実験結果から,認識性能の向上と,マルチラベルクラス増分学習における忘れの軽減効果が示された。
関連論文リスト
- Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。
実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
論文 参考訳(メタデータ) (2024-02-02T08:05:35Z) - Deep Learning for Multi-Label Learning: A Comprehensive Survey [7.3856988253997145]
マルチラベル学習は、単一の入力データポイントから複数のラベルを予測することを目的とした、急速に成長する研究分野である。
MLCでは、高次元データを扱うこと、ラベルの相関に対処すること、部分的なラベルを扱うことが含まれる。
近年,MDCにおけるこれらの課題をより効果的に解決するために,ディープラーニング(DL)技術の採用が顕著に増加していることが報告されている。
論文 参考訳(メタデータ) (2024-01-29T20:37:03Z) - Multimodal Parameter-Efficient Few-Shot Class Incremental Learning [1.9220716793379256]
FSCIL(Few-Shot Class Incremental Learning)は、いくつかの学習セッションで限られたトレーニング例が利用できる、挑戦的な継続的学習タスクである。
このタスクを成功させるためには、数発のトレーニングセットにおけるバイアス分布に起因する新しいクラスを過度に適合させるのを避ける必要がある。
CPE-CLIPは、最先端の提案と比較してFSCILの性能を著しく改善すると同時に、学習可能なパラメータの数やトレーニングコストを大幅に削減する。
論文 参考訳(メタデータ) (2023-03-08T17:34:15Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - A Multi-label Continual Learning Framework to Scale Deep Learning
Approaches for Packaging Equipment Monitoring [57.5099555438223]
連続シナリオにおけるマルチラベル分類を初めて研究した。
タスク数に関して対数的複雑性を持つ効率的なアプローチを提案する。
我々は,包装業界における実世界のマルチラベル予測問題に対するアプローチを検証した。
論文 参考訳(メタデータ) (2022-08-08T15:58:39Z) - Active Refinement for Multi-Label Learning: A Pseudo-Label Approach [84.52793080276048]
MLL(Multi-label Learning)は、あるインスタンスと関連するラベルを一連の概念から関連付けることを目的としている。
MLLの以前の研究は、主に概念セットが修正されると思われる設定に焦点を当てていた。
多くの現実世界のアプリケーションは、新しい要求を満たすために新しい概念をセットに導入する必要がある。
論文 参考訳(メタデータ) (2021-09-29T19:17:05Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。
クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。
本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文 参考訳(メタデータ) (2020-06-10T15:15:27Z) - Few-Shot Class-Incremental Learning [68.75462849428196]
本稿では,FSCIL問題に焦点をあてる。
FSCIL は CNN モデルに対して,学習済みのクラスを忘れることなく,ラベル付きサンプルのごく少数から新たなクラスを漸進的に学習することを求めている。
我々は,異なるクラスで形成される特徴多様体のトポロジーを学習し,保存するニューラルネットワーク(NG)ネットワークを用いて,知識を表現する。
論文 参考訳(メタデータ) (2020-04-23T03:38:33Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳(メタデータ) (2020-03-17T13:40:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。