論文の概要: Adaptive Discovering and Merging for Incremental Novel Class Discovery
- arxiv url: http://arxiv.org/abs/2403.03382v1
- Date: Wed, 6 Mar 2024 00:17:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 16:34:58.525581
- Title: Adaptive Discovering and Merging for Incremental Novel Class Discovery
- Title（参考訳）: 漸進的新しいクラス発見のための適応的発見とマージング
- Authors: Guangyao Chen, Peixi Peng, Yangru Huang, Mengyue Geng, Yonghong Tian
- Abstract要約: 我々は、段階的に新しいカテゴリを適応的に発見するために、Adaptive Discovering and Merging(ADM)と呼ばれる新しいパラダイムを導入する。
私たちのAMMは、破滅的な忘れの問題を軽減することで、クラスインクリメンタルラーニング(クラスインクリメンタルラーニング)のタスクにも役立ちます。
- 参考スコア（独自算出の注目度）: 37.54881512688964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One important desideratum of lifelong learning aims to discover novel classes
from unlabelled data in a continuous manner. The central challenge is twofold:
discovering and learning novel classes while mitigating the issue of
catastrophic forgetting of established knowledge. To this end, we introduce a
new paradigm called Adaptive Discovering and Merging (ADM) to discover novel
categories adaptively in the incremental stage and integrate novel knowledge
into the model without affecting the original knowledge. To discover novel
classes adaptively, we decouple representation learning and novel class
discovery, and use Triple Comparison (TC) and Probability Regularization (PR)
to constrain the probability discrepancy and diversity for adaptive category
assignment. To merge the learned novel knowledge adaptively, we propose a
hybrid structure with base and novel branches named Adaptive Model Merging
(AMM), which reduces the interference of the novel branch on the old classes to
preserve the previous knowledge, and merges the novel branch to the base model
without performance loss and parameter growth. Extensive experiments on several
datasets show that ADM significantly outperforms existing class-incremental
Novel Class Discovery (class-iNCD) approaches. Moreover, our AMM also benefits
the class-incremental Learning (class-IL) task by alleviating the catastrophic
forgetting problem.
- Abstract（参考訳）: 生涯学習の重要なデシプラタムの1つは、未学習のデータから連続的に新しいクラスを発見することである。
中心となる課題は2つある: 確立された知識を破滅的に忘れてしまう問題を緩和しながら、新しいクラスを発見し、学習すること。
そこで本研究では,新しいカテゴリーを段階的に適応的に発見し,新たな知識をモデルに統合するために,adm(adaptive discovering and merge)と呼ばれる新しいパラダイムを提案する。
新しいクラスを適応的に発見するために、表現学習と新しいクラス発見を分離し、3重比較 (tc) と確率正規化 (pr) を用いて、適応カテゴリ割り当ての確率差と多様性を制約する。
学習した新しい知識を適応的にマージするために,適応モデルマージ (AMM) と呼ばれるベースブランチと新規ブランチとのハイブリッド構造を提案し,従来の知識を保存するために新しいブランチの干渉を低減し,性能損失やパラメータ増加を伴わずにベースモデルに新しいブランチをマージする。
いくつかのデータセットに対する大規模な実験により、ADMは既存のクラスインクリメンタルクラスディスカバリ(class-iNCD)アプローチよりも大幅に優れていた。
さらに,我々のAMMは,破滅的な忘れの問題を軽減することで,クラスインクリメンタルラーニング(クラスインクリメンタルラーニング)の課題にも貢献する。
関連論文リスト
- Continual Novel Class Discovery via Feature Enhancement and Adaptation [20.669216392440145]
CNCD(Continuous Novel Class Discovery)のための特徴強調適応手法を提案する。
このガイド・ツー・ノーベル・フレームワークは、事前分布の指導の下で、新しいクラスを継続的に発見するために確立されている。
centroid-to-samples similarity constraint (CSS)は、異なるクラスのCentroid-to-samples similarityの関係を制限するように設計されている。
境界対応型プロトタイプ制約(BAP)は,他のクラスプロトタイプの位置を意識した新しいクラス機能を維持するために提案されている。
論文 参考訳（メタデータ） (2024-05-10T10:52:22Z) - Class-relation Knowledge Distillation for Novel Class Discovery [16.461242381109276]
主な課題は、既知のクラスデータの知識を新しいクラスの学習に転送することである。
本稿では,既知のクラスに基づいて学習したモデルの予測クラス分布に基づいて,新しいクラスに対するクラス関係表現を提案する。
本稿では,クラス関係表現を利用して新しいクラスの学習を規則化する新しい知識蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-18T11:35:57Z) - Memorizing Complementation Network for Few-Shot Class-Incremental
Learning [109.4206979528375]
本稿では,新しいタスクにおいて,異なる記憶された知識を補う複数のモデルをアンサンブルするために,MCNet(Memorizing Complementation Network)を提案する。
原型スムージング・ハードマイニング・トリプルト(PSHT)の損失を現時点の課題だけでなく,従来の分布からも引き離すために開発した。
論文 参考訳（メタデータ） (2022-08-11T02:32:41Z) - Novel Class Discovery without Forgetting [72.52222295216062]
我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。
ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。
CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
論文 参考訳（メタデータ） (2022-07-21T17:54:36Z) - Class-incremental Novel Class Discovery [76.35226130521758]
クラス増進型新規クラス発見(class-iNCD)の課題について検討する。
基本クラスに関する過去の情報を忘れないようにする,クラスiNCDのための新しい手法を提案する。
3つの共通ベンチマークで実施した実験により,本手法が最先端の手法を著しく上回ることを示した。
論文 参考訳（メタデータ） (2022-07-18T13:49:27Z) - Incremental Few-Shot Learning via Implanting and Compressing [13.122771115838523]
増分的なFew-Shot Learningは、いくつかの例から新しいクラスを継続的に学習するモデルを必要とする。
我々はtextbfImplanting と textbfCompressing と呼ばれる2段階の学習戦略を提案する。
具体的には、textbfImplantingのステップにおいて、新しいクラスのデータ分布をデータ・アサンダント・ベース・セットの助けを借りて模倣することを提案する。
textbfのステップでは、特徴抽出器を各新規クラスを正確に表現し、クラス内コンパクト性を高める。
論文 参考訳（メタデータ） (2022-03-19T11:04:43Z) - Novel Class Discovery in Semantic Segmentation [104.30729847367104]
セマンティックにおける新しいクラス発見(NCDSS)について紹介する。
ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。
NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。
本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
論文 参考訳（メタデータ） (2021-12-03T13:31:59Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳（メタデータ） (2020-08-31T04:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。