論文の概要: Learning to Adapt Category Consistent Meta-Feature of CLIP for Few-Shot Classification
- arxiv url: http://arxiv.org/abs/2407.05647v1
- Date: Mon, 8 Jul 2024 06:18:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 16:50:12.377957
- Title: Learning to Adapt Category Consistent Meta-Feature of CLIP for Few-Shot Classification
- Title（参考訳）: ファウショット分類のためのCLIPのカテゴリ一貫性メタ機能への適応学習
- Authors: Jiaying Shi, Xuetong Xue, Shenghui Xu,
- Abstract要約: 最近のCLIPに基づく手法では、画像分類タスクにおいてゼロショットと少数ショットのパフォーマンスが期待できる。
LRと高レベルセマンティック表現の相補的な長所を組み合わせたメタ機能適応法(MF-Adapter)を提案する。
提案手法は,最先端のCLIP下流数ショット分類法よりも優れており,難易度の高い視覚的分類課題に対して高い性能を示す。
- 参考スコア（独自算出の注目度）: 1.6385815610837167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent CLIP-based methods have shown promising zero-shot and few-shot performance on image classification tasks. Existing approaches such as CoOp and Tip-Adapter only focus on high-level visual features that are fully aligned with textual features representing the ``Summary" of the image. However, the goal of few-shot learning is to classify unseen images of the same category with few labeled samples. Especially, in contrast to high-level representations, local representations (LRs) at low-level are more consistent between seen and unseen samples. Based on this point, we propose the Meta-Feature Adaption method (MF-Adapter) that combines the complementary strengths of both LRs and high-level semantic representations. Specifically, we introduce the Meta-Feature Unit (MF-Unit), which is a simple yet effective local similarity metric to measure category-consistent local context in an inductive manner. Then we train an MF-Adapter to map image features to MF-Unit for adequately generalizing the intra-class knowledge between unseen images and the support set. Extensive experiments show that our proposed method is superior to the state-of-the-art CLIP downstream few-shot classification methods, even showing stronger performance on a set of challenging visual classification tasks.
- Abstract（参考訳）: 最近のCLIPベースの手法では、画像分類タスクにおいてゼロショットと少数ショットのパフォーマンスが期待できる。
CoOpやTip-Adapterのような既存のアプローチは、画像の ``Summary' を表すテキスト機能と完全に整合した高レベルの視覚的特徴のみに焦点を当てている。
しかし、少数ショット学習の目標は、同じカテゴリの未確認画像をラベル付きサンプルで分類することである。
特に、高レベルの表現とは対照的に、低レベルの局所表現(LR)は、見えないサンプルと見えないサンプルの間でより一貫性がある。
そこで本研究では,LRと高レベルセマンティック表現の相補的長所を組み合わせたメタ機能適応法(MF-Adapter)を提案する。
具体的には,メタ機能ユニット(Meta-Feature Unit, MF-Unit)を紹介する。
次に、MF-Adapterを訓練し、画像特徴をMF-Unitにマッピングし、未確認画像とサポートセットの間のクラス内知識を適切に一般化する。
広汎な実験により,提案手法は最先端のCLIP下流数ショット分類法よりも優れていることが示された。
関連論文リスト
- Beyond Mask: Rethinking Guidance Types in Few-shot Segmentation [67.35274834837064]
我々は、テキスト、マスク、ボックス、画像からのプロンプトを統合するユニバーサルビジョン言語フレームワーク(UniFSS)を開発した。
UniFSSは最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2024-07-16T08:41:01Z) - Not All Instances Contribute Equally: Instance-adaptive Class
Representation Learning for Few-Shot Visual Recognition [94.04041301504567]
少数ショットの視覚認識は、いくつかのラベル付きインスタンスから新しい視覚概念を認識することを指す。
本稿では,数ショットの視覚認識を実現するために,インスタンス適応型クラス表現学習ネットワーク(ICRL-Net)と呼ばれる新しいメトリックベースのメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-07T10:00:18Z) - Matching Feature Sets for Few-Shot Image Classification [22.84472344406448]
セットベースの表現は本質的に、ベースクラスからの画像のよりリッチな表現を構築します。
私たちのアプローチは、SetFeatと呼ばれ、既存のエンコーダアーキテクチャに浅い自己アテンションメカニズムを組み込んでいます。
論文 参考訳（メタデータ） (2022-04-02T22:42:54Z) - CAD: Co-Adapting Discriminative Features for Improved Few-Shot
Classification [11.894289991529496]
少数のラベル付きサンプルを与えられた未確認のクラスに適応できるモデルを学ぶことを目的としている。
最近のアプローチでは、特徴抽出器を事前訓練し、その後、エピソードなメタラーニングのための微調整を行う。
本研究は, 複数ショットの分類において, 横断的および再重み付き識別機能を実現するための戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T06:14:51Z) - Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。
画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
論文 参考訳（メタデータ） (2021-09-22T18:34:14Z) - Few-shot Image Classification with Multi-Facet Prototypes [48.583388368897126]
視覚的特徴をファセットに整理し、同じ種類の特徴を直感的にグループ化する。
カテゴリー名の事前訓練された埋め込みから、顔の重要性を予測することができる。
特に,あるカテゴリの集合に対して,予測されたフェーレット重み付けに依存する適応的類似度尺度を提案する。
論文 参考訳（メタデータ） (2021-02-01T12:43:03Z) - Region Comparison Network for Interpretable Few-shot Image
Classification [97.97902360117368]
新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。
本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。
また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
論文 参考訳（メタデータ） (2020-09-08T07:29:05Z) - Zero-Shot Recognition through Image-Guided Semantic Classification [9.291055558504588]
ゼロショット学習(ZSL)のための新しい埋め込み型フレームワークを提案する。
複数ラベル分類のための2値関係法により,画像と意味分類器のマッピングを逆学習する手法を提案する。
IGSCは概念的には単純であり、分類のための既存のディープアーキテクチャをわずかに拡張することで実現可能である。
論文 参考訳（メタデータ） (2020-07-23T06:22:40Z) - Learning to Compose Hypercolumns for Visual Correspondence [57.93635236871264]
本稿では,画像に条件付けされた関連レイヤを活用することで,動的に効率的な特徴を構成する視覚対応手法を提案する。
提案手法はダイナミックハイパーピクセルフロー(Dynamic Hyperpixel Flow)と呼ばれ,深層畳み込みニューラルネットワークから少数の関連層を選択することにより,高速にハイパーカラム機能を構成することを学習する。
論文 参考訳（メタデータ） (2020-07-21T04:03:22Z) - Weakly-supervised Object Localization for Few-shot Learning and
Fine-grained Few-shot Learning [0.5156484100374058]
少数のサンプルから新しい視覚カテゴリーを学習することを目的としている。
本稿では,自己認識型補完モジュール(SACモジュール)を提案する。
また,数発の分類のために,識別的深層記述子を選択するためのアクティブマスクも生成する。
論文 参考訳（メタデータ） (2020-03-02T14:07:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。