論文の概要: PromptCAL: Contrastive Affinity Learning via Auxiliary Prompts for
Generalized Novel Category Discovery
- arxiv url: http://arxiv.org/abs/2212.05590v2
- Date: Sun, 26 Mar 2023 10:30:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 01:10:52.316941
- Title: PromptCAL: Contrastive Affinity Learning via Auxiliary Prompts for
Generalized Novel Category Discovery
- Title（参考訳）: PromptCAL: 一般化された新しいカテゴリー発見のための補助プロンプトによるコントラスト親和性学習
- Authors: Sheng Zhang, Salman Khan, Zhiqiang Shen, Muzammal Naseer, Guangyi
Chen, Fahad Khan
- Abstract要約: Generalized Novel Category Discovery (GNCD) 設定は、既知のクラスや新しいクラスから来るラベルなしのトレーニングデータを分類することを目的としている。
本稿では,この課題に対処するために,PromptCALと呼ばれる補助視覚プロンプトを用いたコントラスト親和性学習法を提案する。
提案手法は,クラストークンと視覚的プロンプトのための既知のクラスと新しいクラスのセマンティッククラスタリングを改善するために,信頼性の高いペアワイズサンプル親和性を発見する。
- 参考スコア（独自算出の注目度）: 39.03732147384566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although existing semi-supervised learning models achieve remarkable success
in learning with unannotated in-distribution data, they mostly fail to learn on
unlabeled data sampled from novel semantic classes due to their closed-set
assumption. In this work, we target a pragmatic but under-explored Generalized
Novel Category Discovery (GNCD) setting. The GNCD setting aims to categorize
unlabeled training data coming from known and novel classes by leveraging the
information of partially labeled known classes. We propose a two-stage
Contrastive Affinity Learning method with auxiliary visual Prompts, dubbed
PromptCAL, to address this challenging problem. Our approach discovers reliable
pairwise sample affinities to learn better semantic clustering of both known
and novel classes for the class token and visual prompts. First, we propose a
discriminative prompt regularization loss to reinforce semantic
discriminativeness of prompt-adapted pre-trained vision transformer for refined
affinity relationships.Besides, we propose contrastive affinity learning to
calibrate semantic representations based on our iterative semi-supervised
affinity graph generation method for semantically-enhanced supervision.
Extensive experimental evaluation demonstrates that our PromptCAL method is
more effective in discovering novel classes even with limited annotations and
surpasses the current state-of-the-art on generic and fine-grained benchmarks
(e.g., with nearly 11% gain on CUB-200, and 9% on ImageNet-100) on overall
accuracy. Our code is available at https://github.com/sheng-eatamath/PromptCAL.
- Abstract（参考訳）: 既存の半教師付き学習モデルは、注釈なしの分布データで学習に顕著な成功を収めるが、多くの場合、閉じたセットの仮定により、新しい意味クラスからサンプリングされたラベルなしのデータでは学習できない。
本研究は,実用的ではあるが未探索の一般新規カテゴリー発見(GNCD)を目標とする。
gncd設定は、部分的にラベル付けされた既知のクラスの情報を利用して、既知のクラスや新しいクラスから来るラベルなしのトレーニングデータを分類することを目的としている。
本稿では,この課題に対処するために,PromptCALと呼ばれる補助視覚プロンプトを用いた2段階のコントラスト親和性学習法を提案する。
提案手法は,クラストークンと視覚的プロンプトのための既知のクラスと新しいクラスのセマンティッククラスタリングを改善するために,信頼性の高いペアワイズサンプル親和性を発見する。
まず,より洗練された親和性関係を実現するために,事前学習済み視覚トランスフォーマの意味的識別性を強化するための識別的即応正規化損失を提案し,さらに,この反復的半教師付き親和性グラフ生成法に基づく意味表現の校正のための対比親和性学習を提案する。
広範な実験評価により,本手法は限定的なアノテーションを用いても新規クラスの発見に有効であることを示し,汎用および細粒度ベンチマーク(cub-200では11%近く,imagenet-100では9%近く)において最先端のベンチマークを上回った。
私たちのコードはhttps://github.com/sheng-eatamath/promptcalで利用可能です。
関連論文リスト
- Memory Consistency Guided Divide-and-Conquer Learning for Generalized
Category Discovery [56.172872410834664]
一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。
メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。
本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-24T09:39:45Z) - MetaGCD: Learning to Continually Learn in Generalized Category Discovery [26.732455383707798]
事前に定義されたクラスでトレーニングされたモデルが、ラベルのないデータに絶えず遭遇する実世界のシナリオを考察する。
目標は、既知のクラスのパフォーマンスを維持しながら、新しいクラスを継続的に発見することである。
そこで我々はMetaGCDと呼ばれる手法を提案し,忘れることなく漸進的に発見する方法を学習する。
論文 参考訳（メタデータ） (2023-08-21T22:16:49Z) - Dynamic Conceptional Contrastive Learning for Generalized Category
Discovery [76.82327473338734]
Generalized category discovery (GCD) は、部分的にラベル付けされたデータを自動でクラスタリングすることを目的としている。
ラベル付きデータには、ラベル付きデータの既知のカテゴリだけでなく、新しいカテゴリのインスタンスも含まれている。
GCDの効果的な方法の1つは、ラベルなしデータの識別表現を学習するために自己教師付き学習を適用することである。
本稿では,クラスタリングの精度を効果的に向上する動的概念コントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-30T14:04:39Z) - Novel Class Discovery without Forgetting [72.52222295216062]
我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。
ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。
CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
論文 参考訳（メタデータ） (2022-07-21T17:54:36Z) - New Intent Discovery with Pre-training and Contrastive Learning [21.25371293641141]
新しい意図発見は、ユーザ発話から新しい意図カテゴリーを明らかにして、サポート対象クラスのセットを拡張することを目的としている。
既存のアプローチは通常、大量のラベル付き発話に依存する。
本稿では,クラスタリングのためのラベルなしデータにおける自己超越的信号を活用するために,新たなコントラスト損失を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:07:25Z) - Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。
これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
論文 参考訳（メタデータ） (2021-06-20T17:34:55Z) - Dynamic Semantic Matching and Aggregation Network for Few-shot Intent
Detection [69.2370349274216]
利用可能な注釈付き発話が不足しているため、インテント検出は困難である。
セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。
本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
論文 参考訳（メタデータ） (2020-10-06T05:16:38Z) - Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine
Pseudo-Labeling with Visual-Semantic Meta-Embedding [13.063136901934865]
少ないショットラーニングは、テスト時に少数のサンプルしか持たない、新しいカテゴリに迅速に適応することを目的としている。
本稿では,より困難なシナリオ,すなわちクロスグラニュラリティ・グラニュラリティ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラ
画像埋め込みの類似性に応じて,各粗いクラスを擬似微細クラスにグリーディクラスタリングすることで,詳細なデータ分布を近似する。
論文 参考訳（メタデータ） (2020-07-11T03:44:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。