論文の概要: Solving the Catastrophic Forgetting Problem in Generalized Category Discovery
- arxiv url: http://arxiv.org/abs/2501.05272v1
- Date: Thu, 09 Jan 2025 14:31:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-10 13:59:00.510173
- Title: Solving the Catastrophic Forgetting Problem in Generalized Category Discovery
- Title（参考訳）: 一般カテゴリー発見における破滅的予測問題の解法
- Authors: Xinzi Cao, Xiawu Zheng, Guanhong Wang, Weijiang Yu, Yunhang Shen, Ke Li, Yutong Lu, Yonghong Tian,
- Abstract要約: Generalized Category Discovery (GCD)は、ラベルなしデータセット内の既知のカテゴリと新しいカテゴリの混合を識別することを目的としている。
最近の最先端手法SimGCDは、既知のクラスデータからの知識を、偏りのある学習を通して、新しいクラスの学習に転送する。
本稿では,従来の手法にシームレスに統合された新しい学習手法であるLegoGCDを提案する。
- 参考スコア（独自算出の注目度）: 46.63232918739251
- License:
- Abstract: Generalized Category Discovery (GCD) aims to identify a mix of known and novel categories within unlabeled data sets, providing a more realistic setting for image recognition. Essentially, GCD needs to remember existing patterns thoroughly to recognize novel categories. Recent state-of-the-art method SimGCD transfers the knowledge from known-class data to the learning of novel classes through debiased learning. However, some patterns are catastrophically forgot during adaptation and thus lead to poor performance in novel categories classification. To address this issue, we propose a novel learning approach, LegoGCD, which is seamlessly integrated into previous methods to enhance the discrimination of novel classes while maintaining performance on previously encountered known classes. Specifically, we design two types of techniques termed as Local Entropy Regularization (LER) and Dual-views Kullback Leibler divergence constraint (DKL). The LER optimizes the distribution of potential known class samples in unlabeled data, thus ensuring the preservation of knowledge related to known categories while learning novel classes. Meanwhile, DKL introduces Kullback Leibler divergence to encourage the model to produce a similar prediction distribution of two view samples from the same image. In this way, it successfully avoids mismatched prediction and generates more reliable potential known class samples simultaneously. Extensive experiments validate that the proposed LegoGCD effectively addresses the known category forgetting issue across all datasets, eg, delivering a 7.74% and 2.51% accuracy boost on known and novel classes in CUB, respectively. Our code is available at: https://github.com/Cliffia123/LegoGCD.
- Abstract（参考訳）: Generalized Category Discovery (GCD)は、ラベルなしデータセット内の既知のカテゴリと新しいカテゴリの混合を識別することを目的としており、画像認識のより現実的な設定を提供する。
本質的に、GCDは、新しいカテゴリを認識するために既存のパターンを徹底的に記憶する必要がある。
最近の最先端手法SimGCDは、既知のクラスデータからの知識を、偏りのある学習を通して、新しいクラスの学習に転送する。
しかし、いくつかのパターンは適応中に破滅的に忘れられ、新しい分類では性能が低下する。
そこで本研究では,従来の手法とシームレスに統合された新しい学習手法であるLegoGCDを提案する。
具体的には、局所エントロピー正規化(LER)とデュアルビューKulback Leibler分散制約(DKL)と呼ばれる2種類の手法を設計する。
LERは、未ラベルデータ中の潜在的既知のクラスサンプルの分布を最適化し、新しいクラスを学習しながら、既知のカテゴリに関連する知識の保存を確保する。
一方、DKLは、同じ画像から2つのビューサンプルの同様の予測分布を生成するようモデルに促すために、Kullback Leiblerの発散を導入する。
このようにして、ミスマッチ予測を回避し、より信頼性の高い既知のクラスサンプルを同時に生成する。
広範な実験により、提案されたLegoGCDは、CUBの既知のクラスと新しいクラスでそれぞれ7.74%と2.51%の精度向上を提供するなど、すべてのデータセットで既知のカテゴリ忘れの問題に効果的に対処していることが検証された。
私たちのコードは、https://github.com/Cliffia123/LegoGCDで利用可能です。
関連論文リスト
- Happy: A Debiased Learning Framework for Continual Generalized Category Discovery [54.54153155039062]
本稿では,C-GCD(Continuous Generalized Category Discovery)の未探索課題について考察する。
C-GCDは、学習済みのクラスを認識する能力を維持しながら、ラベルのないデータから新しいクラスを漸進的に発見することを目的としている。
本稿では,ハードネスを意識したプロトタイプサンプリングとソフトエントロピー正規化を特徴とする,偏りのある学習フレームワークであるHappyを紹介する。
論文 参考訳（メタデータ） (2024-10-09T04:18:51Z) - Transfer and Alignment Network for Generalized Category Discovery [11.37283148391564]
一般カテゴリー発見(Generalized Category Discovery)は、現実世界における重要な課題である。
既知のカテゴリのパフォーマンスが向上したにもかかわらず、現在の手法は新しいカテゴリでは性能が良くない。
ラベル付きデータとラベルなしデータの間のバイアス付き知識伝達と、ラベルなしデータに対するノイズの多い表現学習である。
本稿では,2つの知識伝達機構を組み込んだ伝達・アライメントネットワーク(TAN)と,2つの特徴アライメント機構による識別的特徴の学習を提案する。
論文 参考訳（メタデータ） (2023-12-27T08:35:47Z) - MetaGCD: Learning to Continually Learn in Generalized Category Discovery [26.732455383707798]
事前に定義されたクラスでトレーニングされたモデルが、ラベルのないデータに絶えず遭遇する実世界のシナリオを考察する。
目標は、既知のクラスのパフォーマンスを維持しながら、新しいクラスを継続的に発見することである。
そこで我々はMetaGCDと呼ばれる手法を提案し,忘れることなく漸進的に発見する方法を学習する。
論文 参考訳（メタデータ） (2023-08-21T22:16:49Z) - Dynamic Conceptional Contrastive Learning for Generalized Category
Discovery [76.82327473338734]
Generalized category discovery (GCD) は、部分的にラベル付けされたデータを自動でクラスタリングすることを目的としている。
ラベル付きデータには、ラベル付きデータの既知のカテゴリだけでなく、新しいカテゴリのインスタンスも含まれている。
GCDの効果的な方法の1つは、ラベルなしデータの識別表現を学習するために自己教師付き学習を適用することである。
本稿では,クラスタリングの精度を効果的に向上する動的概念コントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-30T14:04:39Z) - PromptCAL: Contrastive Affinity Learning via Auxiliary Prompts for
Generalized Novel Category Discovery [39.03732147384566]
Generalized Novel Category Discovery (GNCD) 設定は、既知のクラスや新しいクラスから来るラベルなしのトレーニングデータを分類することを目的としている。
本稿では,この課題に対処するために,PromptCALと呼ばれる補助視覚プロンプトを用いたコントラスト親和性学習法を提案する。
提案手法は,クラストークンと視覚的プロンプトのための既知のクラスと新しいクラスのセマンティッククラスタリングを改善するために,信頼性の高いペアワイズサンプル親和性を発見する。
論文 参考訳（メタデータ） (2022-12-11T20:06:14Z) - Parametric Classification for Generalized Category Discovery: A Baseline
Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。
パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。
エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文 参考訳（メタデータ） (2022-11-21T18:47:11Z) - Novel Class Discovery without Forgetting [72.52222295216062]
我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。
ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。
CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
論文 参考訳（メタデータ） (2022-07-21T17:54:36Z) - Class-incremental Novel Class Discovery [76.35226130521758]
クラス増進型新規クラス発見(class-iNCD)の課題について検討する。
基本クラスに関する過去の情報を忘れないようにする,クラスiNCDのための新しい手法を提案する。
3つの共通ベンチマークで実施した実験により,本手法が最先端の手法を著しく上回ることを示した。
論文 参考訳（メタデータ） (2022-07-18T13:49:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。