論文の概要: VL-DINO: Leveraging CLIP Vision-Language Knowledge for Open-Vocabulary Object Detectio

• arxiv url: http://arxiv.org/abs/2606.11546v1
• Date: Wed, 10 Jun 2026 01:13:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.230711
• Title: VL-DINO: Leveraging CLIP Vision-Language Knowledge for Open-Vocabulary Object Detectio
• Title（参考訳）: VL-DINO:オープン語彙オブジェクト検出のためのCLIPビジョンランゲージ知識の活用
• Abstract要約: CLIPのようなビジョン言語モデルは、オープン語彙オブジェクト検出のためのリッチなセマンティック事前を提供することができる。 我々は,CLIPの視覚言語知識をより効果的に活用することで,DINOを強化するオープン語彙検出器であるVL-DINOを提案する。
• 参考スコア（独自算出の注目度）: 27.342117244072067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models like CLIP can provide rich semantic priors for open-vocabulary object detection. However, jointly integrating both textual and visual knowledge into detection architectures remains challenging. In this paper, we propose VL-DINO, an open-vocabulary detector that enhances DINO through more effective exploitation of CLIP's vision-language knowledge. Specifically, a Query-guided Positive Sample Construction (QPSC) module is first developed to construct additional high-quality positive samples, enabling the vanilla DINO framework to better accommodate mixed training across heterogeneous data sources while providing more vision-language alignment signals, thereby incorporating richer textual knowledge during training. A Visual Semantic Encoder (VSE) module is then introduced to distill CLIP visual knowledge into backbone-extracted features, producing fused features for subsequent encoder refinement. Based on the fused features, an Object-Region Semantic Alignment (ORSA) module extracts object-centric region features and aligns them with the corresponding textual embeddings, further incorporating textual cues. In the zero-shot setting, VL-DINO-T and VL-DINO-L achieve 36.3 and 38.1 AP on the LVIS benchmark, respectively, consistently outperforming prior advanced approaches. Extensive experiments demonstrate the effectiveness and competitive performance of the proposed design.
• Abstract（参考訳）: CLIPのようなビジョン言語モデルは、オープン語彙オブジェクト検出のためのリッチなセマンティック事前を提供することができる。 しかし、テキストと視覚の両方の知識を共同で検出アーキテクチャに統合することは依然として困難である。 本稿では,CLIPの視覚言語知識をより効果的に活用することで,DINOを高めるオープン語彙検出器であるVL-DINOを提案する。 具体的には、QPSC(Query-guided Positive Sample Construction)モジュールが最初に開発され、高品質な正のサンプルを構築する。これにより、バニラDINOフレームワークは、多種多様なデータソースをまたいで、より視覚的なアライメント信号を提供しながら、よりリッチなテキスト知識をトレーニング中に組み込むことができる。 その後、Visual Semantic Encoder (VSE) モジュールが導入され、CLIPの視覚的知識をバックボーン抽出された機能に抽出し、その後のエンコーダの改良のために融合した機能を生成する。 融合した特徴に基づいて、Object-Region Semantic Alignment (ORSA)モジュールはオブジェクト中心の領域の特徴を抽出し、対応するテキスト埋め込みと整合させ、さらにテキストキューを組み込む。 ゼロショット設定では、VL-DINO-T と VL-DINO-L は、それぞれ LVIS ベンチマークで 36.3 AP と 38.1 AP を達成する。 大規模な実験により提案した設計の有効性と競争性能が実証された。

関連論文リスト

• Unleashing Vision-Language Semantics for Deepfake Video Detection [78.7562836979696]
  ディープフェイクビデオ検出(DFD)研究は、事前訓練されたビジョンランゲージモデル(VLM)が、異なるアイデンティティにわたるアーティファクトの検出において強力な一般化能力を示すことを示した。 VLAForgeは、深度検出におけるモデルの識別可能性を高めるために、そのようなクロスモーダルセマンティクスの可能性を解き放つ新しいDFDフレームワークである。
  論文  参考訳（メタデータ） (2026-03-25T16:05:35Z)
• Enhancing Open-Vocabulary Object Detection through Multi-Level Fine-Grained Visual-Language Alignment [14.066865082355696]
  オープン語彙オブジェクト検出(OVD)は、トレーニングセットに存在しない新しいクラスからのオブジェクトの識別を可能にする。 視覚言語モデリングの最近の進歩は、OVDの著しい進歩をもたらした。 本稿では,視覚言語アライメントのための特徴ピラミッドを改良した新しいフレームワークであるVisual-Language Detection (VLDet)を提案する。
  論文  参考訳（メタデータ） (2026-01-31T05:51:45Z)
• LOC: A General Language-Guided Framework for Open-Set 3D Occupancy Prediction [9.311605679381529]
  我々は,様々な占有ネットワークに適用可能な汎用言語誘導フレームワークLOCを提案する。 自己教師型タスクには,動的/静的シーンに多フレームLiDAR点を融合する戦略,ポアソン再構成を用いて空白を埋める手法,K-Nearest Neighbor (KNN) を介してボクセルに意味を割り当てる手法を用いる。 我々のモデルは,CLIP機能空間に埋め込まれた高密度なボクセル特徴を予測し,テキストと画像の画素情報を統合し,テキストとセマンティックの類似性に基づいて分類する。
  論文  参考訳（メタデータ） (2025-10-25T03:27:19Z)
• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• Unlocking the Capabilities of Large Vision-Language Models for Generalizable and Explainable Deepfake Detection [18.125287697902813]
  現在のLVLM(Large Vision-Language Models)は、マルチモーダルデータの理解において顕著な能力を示している。 深度検出のためのLVLMの潜在能力を解き放つ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-19T03:20:03Z)
• DesCLIP: Robust Continual Learning via General Attribute Descriptions for VLM-Based Visual Recognition [27.429425225892675]
  視覚言語モデル(VLM)の継続的な学習は、下流のタスクやデータセットの拡張に漸進的に適応するために、モーダルな事前訓練された知識を活用することに焦点を当てている。 既存の研究はしばしば、一般的な知識と専門知識の潜伏した関係を見越して、下流のタスクで特定のクラステキストと視覚的特徴を結びつけることに焦点を当てている。 汎用属性(GA)記述を利用して,特定のクラスオブジェクトの理解を導くDesCLIPを提案する。
  論文  参考訳（メタデータ） (2025-02-02T01:06:02Z)
• OVLW-DETR: Open-Vocabulary Light-Weighted Detection Transformer [63.141027246418]
  本稿では,OVLW-DETR(Open-Vocabulary Light-Weighted Detection Transformer)を提案する。 本稿では,視覚言語モデル(VLM)からオブジェクト検出器への知識伝達を簡易なアライメントで行うエンド・ツー・エンドのトレーニングレシピを提案する。 実験により,提案手法は標準ゼロショットLVISベンチマークにおいて,既存の実時間開語彙検出器よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-15T12:15:27Z)
• DetCLIPv3: Towards Versatile Generative Open-vocabulary Object Detection [111.68263493302499]
  DetCLIPv3は、オープンボキャブラリオブジェクト検出と階層ラベルの両方で優れた高性能検出器である。 DetCLIPv3は,1)Versatileモデルアーキテクチャ,2)高情報密度データ,3)効率的なトレーニング戦略の3つのコア設計によって特徴付けられる。 DetCLIPv3は、GLIPv2, GroundingDINO, DetCLIPv2をそれぞれ18.0/19.6/6 APで上回り、優れたオープン語彙検出性能を示す。
  論文  参考訳（メタデータ） (2024-04-14T11:01:44Z)
• LLMs Meet VLMs: Boost Open Vocabulary Object Detection with Fine-grained Descriptors [58.75140338866403]
  DVDetはディスクリプタ強化オープン語彙検出器である。 局所埋め込みをイメージライクな表現に変換することで、一般的なオープンな語彙検出トレーニングに直接統合することができる。 複数の大規模ベンチマークに対する大規模な実験により、DVDetは最先端技術よりも大きなマージンで一貫して優れていたことが示されている。
  論文  参考訳（メタデータ） (2024-02-07T07:26:49Z)
• Simple Image-level Classification Improves Open-vocabulary Object Detection [27.131298903486474]
  Open-Vocabulary Object Detection (OVOD) は、検出モデルが訓練された与えられたベースカテゴリのセットを超えて、新しいオブジェクトを検出することを目的としている。 近年のOVOD法は,CLIPなどの画像レベルの事前学習型視覚言語モデル(VLM)を,地域レベルの知識蒸留,地域レベルの学習,地域レベルの事前学習といった領域レベルのオブジェクト検出タスクに適応させることに重点を置いている。 これらの手法は、地域視覚概念の認識において顕著な性能を示してきたが、VLMの強力なグローバルシーン理解能力を活用するには弱い。
  論文  参考訳（メタデータ） (2023-12-16T13:06:15Z)
• GLIPv2: Unifying Localization and Vision-Language Understanding [161.1770269829139]
  本稿では,ローカライズタスクとビジョンランゲージ(VL)理解タスクの両方を提供する,基底VL理解モデルGLIPv2を提案する。 GLIPv2は、ローカライゼーション事前トレーニングとビジョン言語事前トレーニングを3つの事前トレーニングタスクで統合する。 一つのGLIPv2モデルが,様々なローカライゼーションおよび理解タスクにおいて,SoTAに近い性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-06-12T20:31:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。