論文の概要: LLMs Meet VLMs: Boost Open Vocabulary Object Detection with Fine-grained Descriptors

• arxiv url: http://arxiv.org/abs/2402.04630v1
• Date: Wed, 7 Feb 2024 07:26:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 16:30:09.755130
• Title: LLMs Meet VLMs: Boost Open Vocabulary Object Detection with Fine-grained Descriptors
• Title（参考訳）: LLMとVLM: きめ細かい記述子を用いたオープン語彙オブジェクト検出
• Authors: Sheng Jin, Xueying Jiang, Jiaxing Huang, Lewei Lu, Shijian Lu
• Abstract要約: DVDetはディスクリプタ強化オープン語彙検出器である。 局所埋め込みをイメージライクな表現に変換することで、一般的なオープンな語彙検出トレーニングに直接統合することができる。 複数の大規模ベンチマークに対する大規模な実験により、DVDetは最先端技術よりも大きなマージンで一貫して優れていたことが示されている。
• 参考スコア（独自算出の注目度）: 58.75140338866403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by the outstanding zero-shot capability of vision language models (VLMs) in image classification tasks, open-vocabulary object detection has attracted increasing interest by distilling the broad VLM knowledge into detector training. However, most existing open-vocabulary detectors learn by aligning region embeddings with categorical labels (e.g., bicycle) only, disregarding the capability of VLMs on aligning visual embeddings with fine-grained text description of object parts (e.g., pedals and bells). This paper presents DVDet, a Descriptor-Enhanced Open Vocabulary Detector that introduces conditional context prompts and hierarchical textual descriptors that enable precise region-text alignment as well as open-vocabulary detection training in general. Specifically, the conditional context prompt transforms regional embeddings into image-like representations that can be directly integrated into general open vocabulary detection training. In addition, we introduce large language models as an interactive and implicit knowledge repository which enables iterative mining and refining visually oriented textual descriptors for precise region-text alignment. Extensive experiments over multiple large-scale benchmarks show that DVDet outperforms the state-of-the-art consistently by large margins.
• Abstract（参考訳）: 画像分類タスクにおける視覚言語モデル(VLM)の卓越したゼロショット能力にインスパイアされたオープンボキャブラリオブジェクト検出は、広義のVLM知識を検出器訓練に蒸留することで、関心が高まりつつある。 しかし、既存のほとんどのオープン語彙検出器は、領域埋め込みをカテゴリラベル(例えば自転車)のみと整列することで学習し、視覚埋め込みとオブジェクト部分(例えばペダルやベル)のきめ細かい記述との整列に対するVLMの能力を無視している。 本稿では, 条件付き文脈プロンプトと階層型テキスト記述子を導入し, 高精度な地域テキストアライメントと, 一般のオープン語彙検出訓練を可能にするDVDetを提案する。 特に、条件付き文脈は、局所的な埋め込みを画像のような表現に変換し、一般にオープンな語彙検出訓練に直接組み込むことができる。 さらに,インタラクティブで暗黙的な知識レポジトリとして大規模言語モデルを導入して,視覚的指向のテキスト記述子を反復マイニングし,高精度な領域テキストアライメントを実現する。 複数の大規模ベンチマークに対する大規模な実験により、DVDetは最先端技術よりも大きなマージンで一貫して優れていることが示された。

関連論文リスト

• Hyperbolic Learning with Synthetic Captions for Open-World Detection [26.77840603264043]
  本稿では,視覚言語モデル(VLM)から知識を伝達して,オープン語彙記述を自動的に強化することを提案する。 具体的には、予め訓練したVLMを用いて高濃度の合成キャプションをブートストラップし、画像の異なる領域について豊富な記述を提供する。 また,視覚とキャプションの埋め込みの階層構造を付加する,新しい双曲型視覚言語学習手法を提案する。
  論文  参考訳（メタデータ） (2024-04-07T17:06:22Z)
• CLIM: Contrastive Language-Image Mosaic for Region Representation [58.05870131126816]
  Contrastive Language-Image Mosaic (CLIM) は、領域とテキストの表現を整合させる新しいアプローチである。 CLIMは、異なるオープン語彙オブジェクト検出方法を一貫して改善する。 視覚言語モデルの領域表現を効果的に強化することができる。
  論文  参考訳（メタデータ） (2023-12-18T17:39:47Z)
• The devil is in the fine-grained details: Evaluating open-vocabulary object detectors for fine-grained understanding [8.448399308205266]
  本研究では,動的語彙生成に基づく評価プロトコルを導入し,モデルがオブジェクトに対して正確な粒度記述を検出し,識別し,割り当てるかどうかを検証する。 提案プロトコルを用いて,最先端のオープンボキャブラリオブジェクト検出器を複数評価することにより,研究をさらに強化する。
  論文  参考訳（メタデータ） (2023-11-29T10:40:52Z)
• Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
  OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。 我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。 クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
  論文  参考訳（メタデータ） (2023-11-19T06:00:39Z)
• OV-VG: A Benchmark for Open-Vocabulary Visual Grounding [33.02137080950678]
  この研究は、新規で挑戦的なオープンボキャブラリ視覚タスクを導入している。 包括的な目的は、言語記述と新しいオブジェクトのローカライゼーションの関連を確立することである。 我々は、7,272 OV-VG画像と1,000 OV-PL画像を含むベンチマークをキュレートした。
  論文  参考訳（メタデータ） (2023-10-22T17:54:53Z)
• Aligning Bag of Regions for Open-Vocabulary Object Detection [74.89762864838042]
  本稿では,各地域を超えて,各地域のバッグを埋め込む方法を提案する。 提案手法は,バッグとしてコンテキスト的相互関連領域をグループ化する。 オープンボキャブラリCOCOとLVISベンチマークの新たなカテゴリでは,従来の4.6ボックスAP50と2.8マスクAPよりも優れている。
  論文  参考訳（メタデータ） (2023-02-27T17:39:21Z)
• Fine-grained Visual-Text Prompt-Driven Self-Training for Open-Vocabulary Object Detection [87.39089806069707]
  オープン語彙検出(VTP-OVD)のための微粒なビジュアルテキストプロンプト駆動型自己学習パラダイムを提案する。 適応段階では、学習可能なテキストプロンプトを用いて細粒度アライメントを可能とし、補助的なピクセルワイズ予測タスクを解決する。 実験の結果,COCO の未確認クラスでは,31.5% mAP など,オープン語彙オブジェクト検出の最先端性能が得られた。
  論文  参考訳（メタデータ） (2022-11-02T03:38:02Z)
• PromptDet: Expand Your Detector Vocabulary with Uncurated Images [47.600059694034]
  この作業の目的は、ゼロマニュアルアノテーションを使用して、新しい/見えないカテゴリに向けてオブジェクト検出器を拡張するスケーラブルなパイプラインを確立することである。 本稿では,事前学習された視覚言語モデルのテキストエンコーダから生成された分類器を用いて,各ボックスの提案を分類する2段階のオープン語彙オブジェクト検出器を提案する。 より広い範囲のオブジェクトを検出するための学習手順をスケールアップするために、利用可能なオンラインリソースを活用し、プロンプトを反復的に更新し、その後、ノイズの多い未修正画像の大規模なコーパス上に生成された擬似ラベルを用いて、提案した検出器を自己学習する。
  論文  参考訳（メタデータ） (2022-03-30T17:50:21Z)
• Open-Vocabulary DETR with Conditional Matching [86.1530128487077]
  OV-DETRは、DETRに基づくオープンボキャブラリ検出器である。 クラス名や模範画像が与えられた任意のオブジェクトを検出できる。 芸術の現在の状態よりも、ささいな改善を達成している。
  論文  参考訳（メタデータ） (2022-03-22T16:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。