論文の概要: Exploiting Scene Graphs for Human-Object Interaction Detection

• arxiv url: http://arxiv.org/abs/2108.08584v1
• Date: Thu, 19 Aug 2021 09:40:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-21 00:09:57.181356
• Title: Exploiting Scene Graphs for Human-Object Interaction Detection
• Title（参考訳）: 人間と物体の相互作用検出のための爆発的シーングラフ
• Authors: Tao He, Lianli Gao, Jingkuan Song, Yuan-Fang Li
• Abstract要約: ヒューマン・オブジェクト・インタラクション(Human-Object Interaction,HOI)検出は、人間とオブジェクト間のインタラクションのローカライズと認識を目的とした、基本的な視覚的タスクである。 そこで本研究では,シーングラフを用いたヒューマン・オブジェクト・インタラクション(SG2HOI)検出タスクのための新しい手法を提案する。 SG2HOIはSG情報を2つの方法で組み込む:(1)シーングラフを世界的文脈の手がかりに埋め込み、シーン固有の環境コンテキストとして機能し、(2)オブジェクトの近傍から関係を収集し、それらを対話に転送するリレーショナル・アウェア・メッセージ・パッシング・モジュールを構築する。
• 参考スコア（独自算出の注目度）: 81.49184987430333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human-Object Interaction (HOI) detection is a fundamental visual task aiming at localizing and recognizing interactions between humans and objects. Existing works focus on the visual and linguistic features of humans and objects. However, they do not capitalise on the high-level and semantic relationships present in the image, which provides crucial contextual and detailed relational knowledge for HOI inference. We propose a novel method to exploit this information, through the scene graph, for the Human-Object Interaction (SG2HOI) detection task. Our method, SG2HOI, incorporates the SG information in two ways: (1) we embed a scene graph into a global context clue, serving as the scene-specific environmental context; and (2) we build a relation-aware message-passing module to gather relationships from objects' neighborhood and transfer them into interactions. Empirical evaluation shows that our SG2HOI method outperforms the state-of-the-art methods on two benchmark HOI datasets: V-COCO and HICO-DET. Code will be available at https://github.com/ht014/SG2HOI.
• Abstract（参考訳）: human-object interaction (hoi) 検出は、人間とオブジェクト間のインタラクションをローカライズし認識することを目的とした、基本的なビジュアルタスクである。 既存の作品は、人間と物体の視覚と言語の特徴に焦点を当てている。 しかし、HoI推論に重要な文脈的・詳細な関係知識を提供する画像上に存在する高レベルな意味的関係は考慮していない。 そこで本研究では,シーングラフを用いたヒューマン・オブジェクト・インタラクション(SG2HOI)検出のための新しい手法を提案する。 SG2HOIはSG情報を2つの方法で組み込む:(1)シーングラフを世界的文脈の手がかりに埋め込み、シーン固有の環境コンテキストとして機能し、(2)オブジェクトの近傍から関係を収集し、それらを対話に転送する関係対応メッセージパッシングモジュールを構築する。 SG2HOI法は,2つのベンチマークHOIデータセット(V-COCOとHICO-DET)において,最先端の手法よりも優れていることを示す。 コードはhttps://github.com/ht014/SG2HOIで入手できる。

関連論文リスト

• Detecting Human-to-Human-or-Object (H2O) Interactions with DIABOLO [29.0200561485714]
  我々は,Human-to-Human-or-Object(H2O)という2種類のインタラクションを扱う新しいインタラクションデータセットを提案する。 さらに, 人間の身体的態度の記述に近づき, 周囲の相互作用の標的について記述することを目的とした, 動詞の新たな分類法を導入する。 提案手法は,1回のフォワードパスにおける全てのインタラクションを検出するための,効率的な主観中心単発撮影法であるDIABOLOを提案する。
  論文  参考訳（メタデータ） (2022-01-07T11:00:11Z)
• GTNet:Guided Transformer Network for Detecting Human-Object Interactions [10.809778265707916]
  人-物間相互作用(Human-object Interaction、HOI)検出タスクは、人間を局所化し、対象を局所化し、各人-物間の相互作用を予測する。 HOIを検出するためには,相対的な空間構成やオブジェクトの意味論を利用して,画像の空間領域の空間領域を見つけることが重要である。 この問題は、自己注意に基づくガイド型トランスネットワークであるGTNetによって解決されている。
  論文  参考訳（メタデータ） (2021-08-02T02:06:33Z)
• DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
  人-物間相互作用(HOI)検出の課題に対処する。 既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。 本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:40Z)
• ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
  画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。 我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。 提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
  論文  参考訳（メタデータ） (2020-08-14T09:11:18Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)
• GID-Net: Detecting Human-Object Interaction with Global and Instance Dependency [67.95192190179975]
  GIDブロックと呼ばれる2段階の訓練可能な推論機構を導入する。 GID-Netは、ヒューマンブランチ、オブジェクトブランチ、インタラクションブランチで構成される、人間とオブジェクトのインタラクション検出フレームワークである。 我々は,提案したGID-Netを,V-COCOとHICO-DETを含む2つの公開ベンチマーク上で既存の最先端手法と比較した。
  論文  参考訳（メタデータ） (2020-03-11T11:58:43Z)
• Visual-Semantic Graph Attention Networks for Human-Object Interaction Detection [6.161066669674775]
  Human-Object Interaction (HOI) Detections infers the action predicate on a human, predicate, object> triplet。 本稿では,グラフネットワークを通じて得られる補助関係の曖昧な貢献について検討する。 本研究では,視覚的,空間的,意味的な情報を効果的に集約するデュアルグラフアテンションネットワークを提案する。
  論文  参考訳（メタデータ） (2020-01-07T22:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。