論文の概要: Generating Human-Centric Visual Cues for Human-Object Interaction Detection via Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2311.16475v1
• Date: Sun, 26 Nov 2023 09:11:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 20:27:42.929033
• Title: Generating Human-Centric Visual Cues for Human-Object Interaction Detection via Large Vision-Language Models
• Title（参考訳）: 大規模視覚言語モデルを用いた物体間インタラクション検出のための人間中心視覚手がかりの生成
• Authors: Yu-Wei Zhan, Fan Liu, Xin Luo, Liqiang Nie, Xin-Shun Xu, Mohan Kankanhalli
• Abstract要約: 人-物対検出(Human-object Interaction:HOI)は、人-物対を検出し、その相互作用を予測することを目的とする。 我々はVLMを用いた3つのプロンプトを提案し、人間の複数の視点から画像内で人間中心の視覚的手がかりを生成する。 我々は,マルチトワーアーキテクチャを用いたトランスフォーマーベースのマルチモーダル融合モジュールを開発し,視覚的キュー機能をインスタンスと対話デコーダに統合する。
• 参考スコア（独自算出の注目度）: 59.611697856666304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-object interaction (HOI) detection aims at detecting human-object pairs and predicting their interactions. However, the complexity of human behavior and the diverse contexts in which these interactions occur make it challenging. Intuitively, human-centric visual cues, such as the involved participants, the body language, and the surrounding environment, play crucial roles in shaping these interactions. These cues are particularly vital in interpreting unseen interactions. In this paper, we propose three prompts with VLM to generate human-centric visual cues within an image from multiple perspectives of humans. To capitalize on these rich Human-Centric Visual Cues, we propose a novel approach named HCVC for HOI detection. Particularly, we develop a transformer-based multimodal fusion module with multitower architecture to integrate visual cue features into the instance and interaction decoders. Our extensive experiments and analysis validate the efficacy of leveraging the generated human-centric visual cues for HOI detection. Notably, the experimental results indicate the superiority of the proposed model over the existing state-of-the-art methods on two widely used datasets.
• Abstract（参考訳）: human-object interaction (hoi) 検出は、人間とオブジェクトのペアを検出し、それらの相互作用を予測することを目的としている。 しかし、人間の行動の複雑さとこれらの相互作用が起こる多様な文脈は困難である。 直感的には、関与する参加者、ボディランゲージ、周囲の環境など、人間中心の視覚的手がかりは、これらの相互作用を形作る上で重要な役割を果たす。 これらの手がかりは、特に目に見えない相互作用の解釈に不可欠である。 本稿では,VLMを用いた3つのプロンプトを提案する。 このようなリッチな人中心視覚クイズを活かすために,Human-Centric Visual Cues を用いた HCVC という新しい手法を提案する。 特に,視覚的キュー機能をインスタンスやインタラクションデコーダに組み込むために,マルチトワーアーキテクチャを備えたトランスフォーマーベースのマルチモーダル融合モジュールを開発した。 広範にわたる実験と解析により,人中心視力を用いたHOI検出の有効性が検証された。 特に, 実験結果から, 2つの広く使用されているデータセットに対する既存の最先端手法よりも, 提案モデルの方が優れていることが示された。

関連論文リスト

• Spatio-Temporal Context Prompting for Zero-Shot Action Detection [13.22912547389941]
  本稿では,視覚言語モデルの豊富な知識を効果的に活用し,対人インタラクションを実現する手法を提案する。 同時に複数の人物による異なる行動を認識するという課題に対処するために,興味あるトークンスポッティング機構を設計する。 提案手法は,従来の手法に比べて優れた結果を得ることができ,さらにマルチアクションビデオに拡張することができる。
  論文  参考訳（メタデータ） (2024-08-28T17:59:05Z)
• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• Detecting Any Human-Object Interaction Relationship: Universal HOI Detector with Spatial Prompt Learning on Foundation Models [55.20626448358655]
  本研究では,ビジョン・ランゲージ(VL)基礎モデルと大規模言語モデル(LLM)を用いて,オープンワールド環境におけるユニバーサルインタラクション認識について検討する。 我々の設計にはHO Prompt-guided Decoder (HOPD) が含まれており、基礎モデルにおける高次関係表現と画像内の様々なHOペアとの結合を容易にする。 オープンカテゴリの対話認識では,対話文と解釈文の2つのタイプがサポートされている。
  論文  参考訳（メタデータ） (2023-11-07T08:27:32Z)
• Exploring Predicate Visual Context in Detecting Human-Object Interactions [44.937383506126274]
  クロスアテンションによる画像特徴の再導入について検討する。 PViCはHICO-DETおよびV-COCOベンチマークにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-08-11T15:57:45Z)
• Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection [57.13665112065285]
  ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。 本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:52Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)
• Weakly-Supervised HOI Detection from Interaction Labels Only and Language/Vision-Language Priors [36.75629570208193]
  人-物相互作用検出(Human-object Interaction, HOI)は、人-物対とその相互作用カテゴリを、与えられた自然な画像から抽出することを目的としている。 本稿では,画像レベルのインタラクションラベルのみを用いて,文献における最も弱い監視設定によるHOI検出に取り組む。 まず,非相互作用型人間とオブジェクトの提案を駆使して,バッグ内の正の対の質を高める手法を提案する。 第2に、大きな言語モデルを使用して、人間とオブジェクトのカテゴリ間の相互作用を問合せし、モデルを強調しないよう強制する。
  論文  参考訳（メタデータ） (2023-03-09T19:08:02Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。