論文の概要: Versatile Incremental Learning: Towards Class and Domain-Agnostic Incremental Learning
- arxiv url: http://arxiv.org/abs/2409.10956v1
- Date: Tue, 17 Sep 2024 07:44:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 17:38:43.615552
- Title: Versatile Incremental Learning: Towards Class and Domain-Agnostic Incremental Learning
- Title（参考訳）: Versatile Incremental Learning:クラスとドメインに依存しないインクリメンタルラーニングを目指して
- Authors: Min-Yeong Park, Jae-Ho Lee, Gyeong-Moon Park,
- Abstract要約: インクリメンタルラーニング(IL)は、逐次入力タスクから知識を蓄積することを目的としている。
私たちはVersatile Incremental Learning (VIL) という,より挑戦的で現実的で,未探索のILシナリオを考えています。
Incremental with Shift cONtrol (ICON) という,シンプルで効果的なILフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 16.318126586825734
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Incremental Learning (IL) aims to accumulate knowledge from sequential input tasks while overcoming catastrophic forgetting. Existing IL methods typically assume that an incoming task has only increments of classes or domains, referred to as Class IL (CIL) or Domain IL (DIL), respectively. In this work, we consider a more challenging and realistic but under-explored IL scenario, named Versatile Incremental Learning (VIL), in which a model has no prior of which of the classes or domains will increase in the next task. In the proposed VIL scenario, the model faces intra-class domain confusion and inter-domain class confusion, which makes the model fail to accumulate new knowledge without interference with learned knowledge. To address these issues, we propose a simple yet effective IL framework, named Incremental Classifier with Adaptation Shift cONtrol (ICON). Based on shifts of learnable modules, we design a novel regularization method called Cluster-based Adaptation Shift conTrol (CAST) to control the model to avoid confusion with the previously learned knowledge and thereby accumulate the new knowledge more effectively. Moreover, we introduce an Incremental Classifier (IC) which expands its output nodes to address the overwriting issue from different domains corresponding to a single class while maintaining the previous knowledge. We conducted extensive experiments on three benchmarks, showcasing the effectiveness of our method across all the scenarios, particularly in cases where the next task can be randomly altered. Our implementation code is available at https://github.com/KHU-AGI/VIL.
- Abstract（参考訳）: インクリメンタルラーニング(IL)は、破滅的な忘れを克服しつつ、逐次的な入力タスクから知識を蓄積することを目的としている。
既存のILメソッドは、入力タスクがそれぞれクラスIL(CIL)またはドメインIL(DIL)と呼ばれるクラスまたはドメインの増分しか持たないと仮定する。
本研究では,モデルのどのクラスやドメインが次のタスクで増加するのかを事前に持っていないVersatile Incremental Learning (VIL) という,より困難で現実的で未探索のILシナリオについて考察する。
提案したVILシナリオでは、モデルがクラス内ドメインの混乱とドメイン間クラス間の混乱に直面し、学習知識に干渉することなく新しい知識を蓄積できない。
これらの問題に対処するため,Incremental Classifier with Adaptation Shift cONtrol (ICON) という,シンプルで効果的なILフレームワークを提案する。
学習可能なモジュールのシフトに基づいて、クラスタベースの適応シフトコントロール(CAST)と呼ばれる新しい正規化手法を設計し、学習済みの知識との混同を回避し、新たな知識をより効率的に蓄積する。
さらに、インクリメンタル分類器(IC)を導入し、出力ノードを拡張して、前の知識を維持しながら、単一のクラスに対応する異なるドメインからのオーバーライト問題に対処する。
我々は3つのベンチマークで広範囲に実験を行い、特に次のタスクがランダムに変更される場合において、すべてのシナリオでメソッドの有効性を示す。
実装コードはhttps://github.com/KHU-AGI/VILで公開しています。
関連論文リスト
- Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。
C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。
提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
論文 参考訳（メタデータ） (2024-07-14T17:40:40Z) - Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳（メタデータ） (2024-03-24T12:41:58Z) - Cross-Class Feature Augmentation for Class Incremental Learning [45.91253737682168]
本稿では,敵対的攻撃を動機とした機能強化手法を取り入れた新しいクラスインクリメンタルラーニング手法を提案する。
提案手法は,任意の対象クラスの特徴を増大させるため,クラスインクリメンタルラーニングにおける従来の知識を活用するためのユニークな視点を持つ。
提案手法は,様々なシナリオにおいて,既存の段階的学習手法を著しく上回っている。
論文 参考訳（メタデータ） (2023-04-04T15:48:09Z) - Generalized Few-Shot Continual Learning with Contrastive Mixture of
Adapters [59.82088750033897]
我々は,クラスおよびドメインインクリメンタルな状況を含む汎用FSCL (GFSCL) プロトコルを構築した。
一般的な連続学習手法は、目に見えない領域に一般化能力が乏しいことが判明した。
このようにして、視覚変換器(ViT)に基づくリハーサルフリーフレームワークであるContrastive Mixture of Adapters(CMoA)を提案する。
論文 参考訳（メタデータ） (2023-02-12T15:18:14Z) - Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。
特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。
このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
論文 参考訳（メタデータ） (2022-07-18T18:41:36Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-03-31T13:46:41Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。
クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。
本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文 参考訳（メタデータ） (2020-06-10T15:15:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。