論文の概要: UniFGVC: Universal Training-Free Few-Shot Fine-Grained Vision Classification via Attribute-Aware Multimodal Retrieval

• arxiv url: http://arxiv.org/abs/2508.04136v1
• Date: Wed, 06 Aug 2025 07:02:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 20:09:22.577418
• Title: UniFGVC: Universal Training-Free Few-Shot Fine-Grained Vision Classification via Attribute-Aware Multimodal Retrieval
• Title（参考訳）: UniFGVC:Attribute-Aware Multimodal RetrievalによるユニバーサルトレーニングフリーのFew-Shotファイングラインドビジョン分類
• Authors: Hongyu Guo, Kuan Zhu, Xiangzhao Hao, Haiyun Guo, Ming Tang, Jinqiao Wang,
• Abstract要約: FGVC (Few-shot fine-grained visual classification) は、限られたデータを活用して、下位の異なるカテゴリを識別できるようにすることを目的としている。 最近の研究は、主に訓練済みの視覚言語モデルを微調整し、性能向上を実現したが、過度に適合し、一般化が弱かった。 少数ショットFGVCをマルチモーダル検索として再構成するユニバーサルトレーニングフリーフレームワークUniFGVCを紹介する。
• 参考スコア（独自算出の注目度）: 36.96113192872342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot fine-grained visual classification (FGVC) aims to leverage limited data to enable models to discriminate subtly distinct categories. Recent works mostly finetuned the pre-trained visual language models to achieve performance gain, yet suffering from overfitting and weak generalization. To deal with this, we introduce UniFGVC, a universal training-free framework that reformulates few-shot FGVC as multimodal retrieval. First, we propose the Category-Discriminative Visual Captioner (CDV-Captioner) to exploit the open-world knowledge of multimodal large language models (MLLMs) to generate a structured text description that captures the fine-grained attribute features distinguishing closely related classes. CDV-Captioner uses chain-of-thought prompting and visually similar reference images to reduce hallucination and enhance discrimination of generated captions. Using it we can convert each image into an image-description pair, enabling more comprehensive feature representation, and construct the multimodal category templates using few-shot samples for the subsequent retrieval pipeline. Then, off-the-shelf vision and text encoders embed query and template pairs, and FGVC is accomplished by retrieving the nearest template in the joint space. UniFGVC ensures broad compatibility with diverse MLLMs and encoders, offering reliable generalization and adaptability across few-shot FGVC scenarios. Extensive experiments on 12 FGVC benchmarks demonstrate its consistent superiority over prior few-shot CLIP-based methods and even several fully-supervised MLLMs-based approaches.
• Abstract（参考訳）: FGVC (Few-shot fine-grained visual classification) は、限られたデータを活用して、下位の異なるカテゴリを識別できるようにすることを目的としている。 最近の研究は、主に訓練済みの視覚言語モデルを微調整し、性能向上を実現したが、過度に適合し、一般化が弱かった。 そこで本研究では,FGVCをマルチモーダル検索として再構成するユニバーサルトレーニングフリーフレームワークUniFGVCを紹介する。 まず,マルチモーダルな大規模言語モデル (MLLM) のオープンワールド知識を活用するためのカテゴリー識別型ビジュアルキャピタ (CDV-Captioner) を提案する。 CDV-Captionerは、幻覚を減らし、生成されたキャプションの識別を強化するために、チェーン・オブ・ワープと視覚的に類似した参照画像を使用する。 これを使うことで、各イメージを画像記述ペアに変換し、より包括的な特徴表現を可能にし、後続の検索パイプラインの少数ショットサンプルを使用してマルチモーダルカテゴリテンプレートを構築することができる。 次に、市販のビジョンとテキストエンコーダがクエリとテンプレートペアを埋め込み、FGVCは関節空間の最も近いテンプレートを取得することで達成される。 UniFGVCは多様なMLLMやエンコーダとの広範な互換性を保証する。 12のFGVCベンチマークに対する大規模な実験は、以前の数発のCLIPベースの手法や、完全に教師されたMLLMベースのアプローチよりも一貫した優位性を示している。

関連論文リスト

• Vocabulary-free Fine-grained Visual Recognition via Enriched Contextually Grounded Vision-Language Model [52.01031460230826]
  伝統的なアプローチは固定語彙と閉集合分類パラダイムに大きく依存している。 近年の研究では、大規模言語モデルと視覚言語モデル(VLM)を組み合わせることで、オープンセット認識が可能であることが実証されている。 そこで本研究では,精密な視覚認識のための最先端の手法であるEnriched-FineRを提案する。
  論文  参考訳（メタデータ） (2025-07-30T20:06:01Z)
• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• LMSeg: Unleashing the Power of Large-Scale Models for Open-Vocabulary Semantic Segmentation [16.864086165056698]
  既存のオープン語彙アプローチでは、CLIPなどのビジョン言語モデルを活用して、大規模なビジョン言語データセットの事前トレーニングを通じて取得したリッチなセマンティック機能と視覚機能を整合させる。 本稿では,複数の大規模モデルを活用して,より細かい視覚的特徴と豊かな言語的特徴との整合性を高めることで問題を緩和することを提案する。 提案手法は,すべての主要な開語彙セグメンテーションベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-30T05:49:42Z)
• Envisioning Class Entity Reasoning by Large Language Models for Few-shot Learning [13.68867780184022]
  少ないショット学習は、限られた数のビジュアルサンプルを使用して新しい概念を認識することを目的としている。 我々のフレームワークは,Large Language Models(LLMs)から抽出した抽象クラスセマンティクスと具体的なクラスエンティティの両方を組み込んでいる。 難易度の高いワンショット設定では、ResNet-12のバックボーンを利用して、第2の競争相手に比べて平均1.95%の改善を実現しています。
  論文  参考訳（メタデータ） (2024-08-22T15:10:20Z)
• Diffusion Feedback Helps CLIP See Better [40.125318318373715]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、ドメインとモダリティをまたいだオープンワールド表現の抽象化に優れている。 CLIPには、方向、量、色、構造をほとんど区別できないような、深刻な視覚的欠点がある。 自己教師付き拡散プロセスによって視覚的欠点を克服するCLIPモデルに対する後学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:00:09Z)
• Few-shot Action Recognition with Captioning Foundation Models [61.40271046233581]
  CapFSARは、テキストを手動でアノテートすることなく、マルチモーダルモデルの知識を利用するフレームワークである。 Transformerをベースとしたビジュアルテキストアグリゲーションモジュールはさらに、モーダル時間間の補完情報を組み込むように設計されている。 複数の標準的な数ショットベンチマークの実験では、提案したCapFSARが既存の手法に対して好適に動作することを示した。
  論文  参考訳（メタデータ） (2023-10-16T07:08:39Z)
• Self-Supervised Open-Ended Classification with Small Visual Language Models [60.23212389067007]
  我々は、小さな視覚言語モデルを用いたオープンエンド分類のための数ショットの能力を解放する自己教師型アプローチであるSeCAtを提案する。 約1Bパラメータを持つモデルを使用することで、FrozenやBrobAGeといった、はるかに大きなモデルの少数ショット能力より優れています。
  論文  参考訳（メタデータ） (2023-09-30T21:41:21Z)
• Delving into Multimodal Prompting for Fine-grained Visual Classification [57.12570556836394]
  細粒度視覚分類(FGVC)は、より広いカテゴリーの細分化を分類する。 事前学習型視覚言語モデルの最近の進歩は、様々なハイレベル視覚タスクにおいて顕著な性能を示している。 対照的な言語画像サブカテゴリ(CLIP)モデルに基づいて,MP-FGVCと呼ばれる新しいマルチモーダルプロンプトソリューションを提案する。
  論文  参考訳（メタデータ） (2023-09-16T07:30:52Z)
• Text Descriptions are Compressive and Invariant Representations for Visual Learning [63.3464863723631]
  本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。 特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。 このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
  論文  参考訳（メタデータ） (2023-07-10T03:06:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。