論文の概要: Neural Message Passing for Visual Relationship Detection
- arxiv url: http://arxiv.org/abs/2208.04165v1
- Date: Mon, 8 Aug 2022 14:06:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 13:37:55.882183
- Title: Neural Message Passing for Visual Relationship Detection
- Title(参考訳): 視覚関係検出のためのニューラルメッセージパッシング
- Authors: Yue Hu, Siheng Chen, Xu Chen, Ya Zhang, Xiao Gu
- Abstract要約: 視覚的関係検出のためのニューラルメッセージパッシング(NMP)アルゴリズムを提案する。
対話グラフによるオブジェクトとインタラクションを明示的にモデル化し,コンテキスト情報を伝達するメッセージパッシングスタイルのアルゴリズムを提案する。
2つのベンチマークデータセットの実験結果から,提案手法の優位性を実証した。
- 参考スコア(独自算出の注目度): 45.595505481091074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual relationship detection aims to detect the interactions between objects
in an image; however, this task suffers from combinatorial explosion due to the
variety of objects and interactions. Since the interactions associated with the
same object are dependent, we explore the dependency of interactions to reduce
the search space. We explicitly model objects and interactions by an
interaction graph and then propose a message-passing-style algorithm to
propagate the contextual information. We thus call the proposed method neural
message passing (NMP). We further integrate language priors and spatial cues to
rule out unrealistic interactions and capture spatial interactions.
Experimental results on two benchmark datasets demonstrate the superiority of
our proposed method. Our code is available at https://github.com/PhyllisH/NMP.
- Abstract(参考訳): 視覚的関係検出は、画像内の物体間の相互作用を検出することを目的としているが、このタスクは、様々な物体と相互作用による組合せ的爆発に悩まされる。
同一対象に関連付けられた相互作用は依存しているため,探索空間を減らすために相互作用の依存性を検討する。
インタラクショングラフによってオブジェクトとインタラクションを明示的にモデル化し,コンテキスト情報を伝達するメッセージパッシング型アルゴリズムを提案する。
そこで我々は,提案手法をニューラルメッセージパッシング (NMP) と呼ぶ。
さらに,非現実的な相互作用を排除し,空間的相互作用を捉えるために,言語先行と空間的手がかりを統合する。
2つのベンチマークデータセットの実験結果から,提案手法の優位性を示す。
私たちのコードはhttps://github.com/PhyllisH/NMPで公開されています。
関連論文リスト
- UnionDet: Union-Level Detector Towards Real-Time Human-Object
Interaction Detection [35.2385914946471]
本稿では,新しい結合レベル検出器を用いたHOI検出のための一段階メタアーキテクチャを提案する。
ヒトと物体の相互作用の1段階検出器は、相互作用予測時間4x14xを著しく減少させる。
論文 参考訳(メタデータ) (2023-12-19T23:34:43Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳(メタデータ) (2023-03-16T00:06:28Z) - Detecting Human-to-Human-or-Object (H2O) Interactions with DIABOLO [29.0200561485714]
我々は,Human-to-Human-or-Object(H2O)という2種類のインタラクションを扱う新しいインタラクションデータセットを提案する。
さらに, 人間の身体的態度の記述に近づき, 周囲の相互作用の標的について記述することを目的とした, 動詞の新たな分類法を導入する。
提案手法は,1回のフォワードパスにおける全てのインタラクションを検出するための,効率的な主観中心単発撮影法であるDIABOLOを提案する。
論文 参考訳(メタデータ) (2022-01-07T11:00:11Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳(メタデータ) (2021-08-25T07:35:21Z) - Exploiting Scene Graphs for Human-Object Interaction Detection [81.49184987430333]
ヒューマン・オブジェクト・インタラクション(Human-Object Interaction,HOI)検出は、人間とオブジェクト間のインタラクションのローカライズと認識を目的とした、基本的な視覚的タスクである。
そこで本研究では,シーングラフを用いたヒューマン・オブジェクト・インタラクション(SG2HOI)検出タスクのための新しい手法を提案する。
SG2HOIはSG情報を2つの方法で組み込む:(1)シーングラフを世界的文脈の手がかりに埋め込み、シーン固有の環境コンテキストとして機能し、(2)オブジェクトの近傍から関係を収集し、それらを対話に転送するリレーショナル・アウェア・メッセージ・パッシング・モジュールを構築する。
論文 参考訳(メタデータ) (2021-08-19T09:40:50Z) - RR-Net: Injecting Interactive Semantics in Human-Object Interaction
Detection [40.65483058890176]
最新のエンドツーエンドHOI検出器は関係推論に欠けており、予測のためにHOI固有の対話的セマンティクスを学習できない。
まず、インタラクション推論のための新しい構造とパラメータ共有パターンをもたらす、プログレッシブな関係認識フレームを提案する。
上記のモジュールに基づいて、Relation Reasoning Network (abbr) というエンドツーエンドのトレーニング可能なフレームワークを構築します。
RR-Net)
論文 参考訳(メタデータ) (2021-04-30T14:03:10Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳(メタデータ) (2020-07-14T09:29:03Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。