論文の概要: Taking A Closer Look at Interacting Objects: Interaction-Aware Open Vocabulary Scene Graph Generation

• arxiv url: http://arxiv.org/abs/2502.03856v1
• Date: Thu, 06 Feb 2025 08:18:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:32:39.070698
• Title: Taking A Closer Look at Interacting Objects: Interaction-Aware Open Vocabulary Scene Graph Generation
• Title（参考訳）: 対話型オブジェクトのクローズアップ: 対話型オープン語彙シーングラフ生成
• Authors: Lin Li, Chuhan Zhang, Dong Zhang, Chong Sun, Chen Li, Long Chen,
• Abstract要約: 対話型OVSGGフレームワークINOVAを提案する。 事前トレーニングでは、対話対象と非対話対象を区別するために、対話対応のターゲット生成戦略を採用している。 INOVAは、相互作用するオブジェクトペアを背景から遠ざけることで堅牢性を高めるために、相互作用一貫性のある知識蒸留を備えている。
• 参考スコア（独自算出の注目度）: 16.91119080704441
• License:
• Abstract: Today's open vocabulary scene graph generation (OVSGG) extends traditional SGG by recognizing novel objects and relationships beyond predefined categories, leveraging the knowledge from pre-trained large-scale models. Most existing methods adopt a two-stage pipeline: weakly supervised pre-training with image captions and supervised fine-tuning (SFT) on fully annotated scene graphs. Nonetheless, they omit explicit modeling of interacting objects and treat all objects equally, resulting in mismatched relation pairs. To this end, we propose an interaction-aware OVSGG framework INOVA. During pre-training, INOVA employs an interaction-aware target generation strategy to distinguish interacting objects from non-interacting ones. In SFT, INOVA devises an interaction-guided query selection tactic to prioritize interacting objects during bipartite graph matching. Besides, INOVA is equipped with an interaction-consistent knowledge distillation to enhance the robustness by pushing interacting object pairs away from the background. Extensive experiments on two benchmarks (VG and GQA) show that INOVA achieves state-of-the-art performance, demonstrating the potential of interaction-aware mechanisms for real-world applications.
• Abstract（参考訳）: 今日のオープン語彙シーングラフ生成(OVSGG)は、事前定義されたカテゴリを超えて新しいオブジェクトや関係を認識し、事前訓練された大規模モデルの知識を活用することで、従来のSGGを拡張している。 既存のほとんどの手法では、イメージキャプションによる弱い教師付き事前トレーニングと、完全に注釈付けされたシーングラフ上の教師付き微調整(SFT)という、2段階のパイプラインを採用している。 それでも、相互作用するオブジェクトの明示的なモデリングを省略し、全てのオブジェクトを等しく扱い、不一致の関係のペアが生まれる。 そこで本研究では,対話型OVSGGフレームワークINOVAを提案する。 事前トレーニングでは、対話対象と非対話対象を区別するために、対話対応のターゲット生成戦略を採用している。 SFTでは、INVAは双方向グラフマッチング中に相互作用するオブジェクトを優先順位付けするための対話誘導クエリ選択手法を考案している。 また, 対話型物体対を背景から遠ざけることにより, 堅牢性を高めるために, 対話型知識蒸留装置を備えている。 2つのベンチマーク(VGとGQA)の大規模な実験により、INOVAは最先端のパフォーマンスを達成し、現実世界のアプリケーションにおけるインタラクション認識機構の可能性を示している。

関連論文リスト

• BCTR: Bidirectional Conditioning Transformer for Scene Graph Generation [4.977568882858193]
  シーングラフ生成(SGG)のためのセマンティックアライメント空間における新しい双方向コンディショニング因数分解法を提案する。 本稿では,双方向コンディショニングトランス (BCTR) を用いたエンド・ツー・エンドシーングラフ生成モデルを提案する。 BCTRは2つの重要なモジュールから構成されている。まず、双方向条件生成装置(BCG)は、エンティティと述語の間で多段階の対話的特徴拡張を行い、これらの予測間の相互強化を可能にする。 第二に、Random Feature Alignment(RFA)は、事前訓練されたモデルからマルチモーダルな知識を蒸留することによって特徴空間を正規化するために存在する。
  論文  参考訳（メタデータ） (2024-07-26T13:02:48Z)
• Exploring Interactive Semantic Alignment for Efficient HOI Detection with Vision-language Model [3.3772986620114387]
  ISA-HOIはCLIPからの知識を広範囲に活用し,視覚的特徴とテキスト的特徴の対話的意味論を整合させる。 本手法は, HICO-DETとV-COCOのベンチマークにおいて, トレーニングエポックがはるかに少なく, ゼロショット環境下での最先端性能を向上する。
  論文  参考訳（メタデータ） (2024-04-19T07:24:32Z)
• Towards a Unified Transformer-based Framework for Scene Graph Generation and Human-object Interaction Detection [116.21529970404653]
  本稿では,Transformerアーキテクチャに基づく一段階統一モデルであるSG2HOI+を紹介する。 本手法では,SGGとHOI検出のタスクをシームレスに統一する2つの対話型階層変換器を用いる。 提案手法は最先端のHOI法と比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-03T07:25:57Z)
• Semantic Scene Graph Generation Based on an Edge Dual Scene Graph and Message Passing Neural Network [3.9280441311534653]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の関係をキャプチャし、構造化グラフベースの表現を生成する。 既存のSGG法は、詳細な関係を正確に予測する能力に制限がある。 本稿では,エッジデュアルシーングラフ生成(EdgeSGG)と呼ばれるマルチオブジェクト関係のモデリング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T12:36:52Z)
• Prototype-based Embedding Network for Scene Graph Generation [105.97836135784794]
  現在のシーングラフ生成(SGG)手法は、コンテキスト情報を探索し、エンティティペア間の関係を予測する。 被写体と対象物の組み合わせが多様であるため、各述語カテゴリーには大きなクラス内変異が存在する。 プロトタイプベースのEmbedding Network (PE-Net) は、エンティティ/述語を、プロトタイプに準拠したコンパクトで独特な表現でモデル化する。 PLは、PE-Netがそのようなエンティティ述語マッチングを効率的に学習するのを助けるために導入され、不明瞭なエンティティ述語マッチングを緩和するためにプロトタイプ正規化(PR)が考案されている。
  論文  参考訳（メタデータ） (2023-03-13T13:30:59Z)
• Towards Open-vocabulary Scene Graph Generation with Prompt-based Finetuning [84.39787427288525]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の視覚的関係を検出するための基本的なタスクである。 オープンボキャブラリシーングラフ生成は,モデルが一連のベースオブジェクトクラスでトレーニングされる,斬新で現実的で困難な設定である。 我々のメソッドは、既存のメソッドが処理できない、完全に見えないオブジェクトクラスに対する推論をサポートすることができる。
  論文  参考訳（メタデータ） (2022-08-17T09:05:38Z)
• ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
  画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。 我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。 提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
  論文  参考訳（メタデータ） (2020-08-14T09:11:18Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。