論文の概要: Unveiling the Unknown: Open Vocabulary Object Detection with Scene Graphs

• arxiv url: http://arxiv.org/abs/2606.05916v1
• Date: Thu, 04 Jun 2026 09:23:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.68633
• Title: Unveiling the Unknown: Open Vocabulary Object Detection with Scene Graphs
• Title（参考訳）: 未知の発見:シーングラフを用いたオープン語彙オブジェクト検出
• Authors: Yi Chen, Yinghao Lu, Zhehao Li, Chenchen Yan, Jiafei Wu, Chong Wang, Jiangbo Qian,
• Abstract要約: オープンボキャブラリオブジェクト検出は、トレーニングデータの一部ではない新しいオブジェクトカテゴリを識別する。 これらの手法はしばしば、相互作用や空間配置など、オブジェクト間の構造的、イメージ固有の関係を見落としている。 本稿では,この問題に対処するためのScene-guided Modeling Detectionフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.874298364235326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-vocabulary object detection seeks to identify novel object categories that were not part of the training data. Many knowledge distillation-based approaches have shown promising performance by transferring knowledge from pre-trained vision-language models to object detection. However, these methods often overlook structured, image-specific relationships between objects, such as interactions and spatial arrangements. This oversight can significantly restrict the effectiveness of detecting novel categories. To address this issue, we propose a Scene-guided Relational Modeling detection framework. This framework utilizes scene graphs to capture structured semantic and spatial relationships between candidate regions and their contextual objects. It explicitly models interactions among neighboring regions and incorporates a Relation Attention Module to implicitly amplify the key relational cues extracted from the scene graph. Furthermore, we present a scene-based textual alignment branch that distills category knowledge from captions to guide relational alignment. This approach facilitates a seamless integration of visual relations with semantic information for enhanced detection performance. Comprehensive experiments show that our model achieves superior performance compared to other OVOD methods, improving the AP for novel categories on COCO and LVIS datasets.
• Abstract（参考訳）: オープンボキャブラリオブジェクト検出は、トレーニングデータの一部ではない新しいオブジェクトカテゴリを識別する。 多くの知識蒸留に基づくアプローチは、事前学習された視覚言語モデルからオブジェクト検出に知識を移すことによって、有望な性能を示す。 しかしながら、これらの手法はしばしば、相互作用や空間配置のようなオブジェクト間の構造的、イメージ固有の関係を見落としている。 この監視は、新規カテゴリの検出の有効性を著しく制限することができる。 この問題に対処するために,Scene-guided Relational Modeling Detection frameworkを提案する。 このフレームワークはシーングラフを利用して、候補領域とそのコンテキストオブジェクト間の構造的意味と空間的関係をキャプチャする。 近隣地域の相互作用を明示的にモデル化し、シーングラフから抽出した重要なリレーショナルキューを暗黙的に増幅するリレーショナルアテンションモジュールを組み込む。 さらに,キャプションからカテゴリ知識を抽出し,リレーショナルアライメントをガイドするシーンベースのテキストアライメントブランチを提案する。 このアプローチにより,視覚的関係と意味情報とのシームレスな統合が実現され,検出性能が向上する。 包括的実験により,本モデルはOVOD法よりも優れた性能を示し,COCOおよびLVISデータセットの新しいカテゴリのAPを改善した。

関連論文リスト

• METOR: A Unified Framework for Mutual Enhancement of Objects and Relationships in Open-vocabulary Video Visual Relationship Detection [25.542175004831844]
  Open-vocabulary video visual relationship detectionは、事前に定義されたオブジェクトや関係カテゴリに制限されることなく、ビデオ内のオブジェクトとそれらの関係を検出することを目的としている。 既存の手法では、CLIPのような事前訓練された視覚言語モデルの豊富な意味知識を活用して、新しいカテゴリを識別する。 オープン語彙シナリオにおけるオブジェクト検出と関係分類を相互にモデル化し,相互に強化するために,Multual EnhancemenT of Objects and Relationships (METOR)を提案する。
  論文  参考訳（メタデータ） (2025-05-10T14:45:43Z)
• End-to-end Open-vocabulary Video Visual Relationship Detection using Multi-modal Prompting [68.37943632270505]
  Open-vocabulary video visual relationship detectionは、ビデオの視覚的関係の検出をカテゴリを超えて拡張することを目的としている。 既存の方法は、通常、閉じたデータセットで訓練された軌跡検出器を使用して物体の軌跡を検出する。 我々はCLIPの豊富な意味的知識を活用して新しい関係を発見するオープン語彙関係を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:25:01Z)
• Scene-Graph ViT: End-to-End Open-Vocabulary Visual Relationship Detection [14.22646492640906]
  オープン語彙の視覚的関係検出のための単純かつ高効率なデコーダレスアーキテクチャを提案する。 我々のモデルはTransformerベースの画像エンコーダで、オブジェクトをトークンとして表現し、それらの関係を暗黙的にモデル化する。 提案手法は,ビジュアルゲノムおよび大語彙GQAベンチマーク上で,リアルタイムな推論速度で,最先端の関係検出性能を実現する。
  論文  参考訳（メタデータ） (2024-03-21T10:15:57Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• Spatial Reasoning for Few-Shot Object Detection [21.3564383157159]
  本稿では,空間的推論フレームワークを提案する。 グラフ畳み込みネットワークをRoIとその関連性はそれぞれノードとエッジとして定義する。 提案手法は最先端の手法を著しく上回り, 広範囲なアブレーション研究により有効性を検証する。
  論文  参考訳（メタデータ） (2022-11-02T12:38:08Z)
• ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
  画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。 我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。 提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
  論文  参考訳（メタデータ） (2020-08-14T09:11:18Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。