論文の概要: VocaDet: Sample-Driven Open-Vocabulary Object Detection and Segmentation via Visual Tokenization and Vector Database Retrieval

• arxiv url: http://arxiv.org/abs/2607.08541v1
• Date: Thu, 09 Jul 2026 14:35:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.568134
• Title: VocaDet: Sample-Driven Open-Vocabulary Object Detection and Segmentation via Visual Tokenization and Vector Database Retrieval
• Title（参考訳）: VocaDet:ビジュアルトークン化とベクトルデータベース検索によるサンプル駆動オープン語彙オブジェクトの検出とセグメンテーション
• Authors: ZhiXin Sun,
• Abstract要約: サンプル駆動型オープン語彙オブジェクト検出・セグメンテーションフレームワークであるVocaDetを提案する。 連続した視覚表現を離散的な視覚語彙に変換し、スケーラブルなベクトルデータベースを通して効率的な検索ベース認識を行う。 UA-DETRACデータセットの実験は、VocaDetが従来の検出器トレーニングを使わずに効果的な開語彙検出性能を達成することを示した。
• 参考スコア（独自算出の注目度）: 4.484170173286332
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Open-vocabulary object detection and segmentation aim to recognize arbitrary objects beyond predefined categories. Although recent vision-language and reference-based approaches have significantly advanced this field, they often rely on text prompts, limited visual examples, or expensive feature matching procedures, making them difficult to scale to large and continuously expanding object repositories. In this work, we propose VocaDet, a sample-driven open-vocabulary object detection and segmentation framework that learns object concepts directly from user-provided positive and negative sample collections without model retraining. The key idea is to transform continuous visual representations into discrete visual vocabularies and perform efficient retrieval-based recognition through a scalable vector database. Specifically, we employ DINOv3 as the visual feature extractor and apply agglomerative clustering with adaptive clustering sensitivity to generate multi-granularity visual tokens. These visual tokens, together with position-debiased representations and spatial topology information, are stored as expandable object memories in a vector database. During inference, query images are converted into visual tokens and efficiently matched against the stored object memories for object localization and segmentation. Furthermore, a background filtering mechanism is introduced to remove frequently occurring background patterns and reduce redundant retrieval operations in practical fixed-camera scenarios. Experiments on the UA-DETRAC dataset demonstrate that VocaDet achieves effective open-vocabulary detection performance without conventional detector training, while supporting continuously expandable recognition capability as additional positive and negative samples are accumulated.
• Abstract（参考訳）: オープンボキャブラリオブジェクト検出とセグメンテーションは、定義済みのカテゴリを超えて任意のオブジェクトを認識することを目的としている。 最近の視覚言語と参照ベースのアプローチはこの分野を大きく進歩させたが、しばしばテキストプロンプト、限られた視覚例、高価な特徴マッチング手順に依存しており、大規模で継続的な拡張対象リポジトリへのスケールが困難である。 本研究では,サンプル駆動型オープンボキャブラリオブジェクト検出・セグメンテーションフレームワークであるVocaDetを提案する。 鍵となる考え方は、連続した視覚表現を離散的な視覚語彙に変換し、スケーラブルなベクトルデータベースを通して効率的な検索ベースの認識を行うことである。 具体的には、視覚特徴抽出器としてDINOv3を使用し、適応的なクラスタリング感度を持つ凝集クラスタリングを適用し、多粒度視覚トークンを生成する。 これらの視覚トークンは、位置ずれ表現や空間トポロジー情報とともに、ベクトルデータベースに拡張可能なオブジェクトメモリとして格納される。 推論中、クエリ画像はビジュアルトークンに変換され、オブジェクトのローカライゼーションとセグメンテーションのために格納されたオブジェクトメモリと効率的にマッチングされる。 さらに、バックグラウンドフィルタリング機構を導入して、頻繁に発生する背景パターンを除去し、実用的な固定カメラシナリオにおける冗長な検索操作を削減する。 UA-DETRACデータセットの実験は、VocaDetが従来の検出器トレーニングを使わずに効果的な開語彙検出性能を達成し、追加の正と負のサンプルが蓄積されるにつれて連続的に拡張可能な認識能力をサポートすることを示した。

関連論文リスト

• Revisiting Human-in-the-Loop Object Retrieval with Pre-Trained Vision Transformers [1.8631279231581521]
  Human-in-the-Loop Object Retrievalは、関心のクラスのオブジェクトを含むイメージを反復的に検索するタスクである。 トレーニング済みのViT表現を活用し、重要な設計問題に対処することで、タスクを再考する。
  論文  参考訳（メタデータ） (2026-04-01T12:18:17Z)
• WeDetect: Fast Open-Vocabulary Object Detection as Retrieval [74.39703419628829]
  Open-vocabularyオブジェクト検出は、テキストプロンプトを通じて任意のクラスを検出することを目的としている。 クロスモーダル融合層(ノンフュージョン)を持たない手法は、認識を検索問題として扱うことにより、より高速な推論を提供する。 WeDetectという名前のモデルファミリを開発し、推論効率の高い15ベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-12-13T12:40:28Z)
• RSRefSeg: Referring Remote Sensing Image Segmentation with Foundation Models [24.67117013862316]
  リモートセンシング画像のセグメンテーションの参照は、きめ細かい視覚的理解の実現に不可欠である。 本稿では,参照リモートセンシング画像分割基礎モデルRSRefSegを紹介する。 RRSIS-Dデータセットの実験結果は、RSRefSegが既存の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-01-12T13:22:35Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• Generative Region-Language Pretraining for Open-Ended Object Detection [55.42484781608621]
  我々は,高密度物体を検出し,その名前を自由形式の方法で生成できるGenerateUというフレームワークを提案する。 本フレームワークはオープン語彙オブジェクト検出手法GLIPに匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2024-03-15T10:52:39Z)
• Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
  OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。 我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。 クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
  論文  参考訳（メタデータ） (2023-11-19T06:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。