論文の概要: Neural Message Passing for Visual Relationship Detection
- arxiv url: http://arxiv.org/abs/2208.04165v1
- Date: Mon, 8 Aug 2022 14:06:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 13:37:55.882183
- Title: Neural Message Passing for Visual Relationship Detection
- Title(参考訳): 視覚関係検出のためのニューラルメッセージパッシング
- Authors: Yue Hu, Siheng Chen, Xu Chen, Ya Zhang, Xiao Gu
- Abstract要約: 視覚的関係検出のためのニューラルメッセージパッシング(NMP)アルゴリズムを提案する。
対話グラフによるオブジェクトとインタラクションを明示的にモデル化し,コンテキスト情報を伝達するメッセージパッシングスタイルのアルゴリズムを提案する。
2つのベンチマークデータセットの実験結果から,提案手法の優位性を実証した。
- 参考スコア(独自算出の注目度): 45.595505481091074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual relationship detection aims to detect the interactions between objects
in an image; however, this task suffers from combinatorial explosion due to the
variety of objects and interactions. Since the interactions associated with the
same object are dependent, we explore the dependency of interactions to reduce
the search space. We explicitly model objects and interactions by an
interaction graph and then propose a message-passing-style algorithm to
propagate the contextual information. We thus call the proposed method neural
message passing (NMP). We further integrate language priors and spatial cues to
rule out unrealistic interactions and capture spatial interactions.
Experimental results on two benchmark datasets demonstrate the superiority of
our proposed method. Our code is available at https://github.com/PhyllisH/NMP.
- Abstract(参考訳): 視覚的関係検出は、画像内の物体間の相互作用を検出することを目的としているが、このタスクは、様々な物体と相互作用による組合せ的爆発に悩まされる。
同一対象に関連付けられた相互作用は依存しているため,探索空間を減らすために相互作用の依存性を検討する。
インタラクショングラフによってオブジェクトとインタラクションを明示的にモデル化し,コンテキスト情報を伝達するメッセージパッシング型アルゴリズムを提案する。
そこで我々は,提案手法をニューラルメッセージパッシング (NMP) と呼ぶ。
さらに,非現実的な相互作用を排除し,空間的相互作用を捉えるために,言語先行と空間的手がかりを統合する。
2つのベンチマークデータセットの実験結果から,提案手法の優位性を示す。
私たちのコードはhttps://github.com/PhyllisH/NMPで公開されています。
関連論文リスト
- Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。
本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
論文 参考訳(メタデータ) (2024-10-15T07:35:51Z) - Hierarchical Graph Interaction Transformer with Dynamic Token Clustering for Camouflaged Object Detection [57.883265488038134]
本稿では,HGINetと呼ばれる階層的なグラフ相互作用ネットワークを提案する。
このネットワークは、階層的トークン化機能間の効果的なグラフ相互作用を通じて、知覚不能なオブジェクトを発見することができる。
本実験は,既存の最先端手法と比較して,HGINetの優れた性能を示すものである。
論文 参考訳(メタデータ) (2024-08-27T12:53:25Z) - UnionDet: Union-Level Detector Towards Real-Time Human-Object
Interaction Detection [35.2385914946471]
本稿では,新しい結合レベル検出器を用いたHOI検出のための一段階メタアーキテクチャを提案する。
ヒトと物体の相互作用の1段階検出器は、相互作用予測時間4x14xを著しく減少させる。
論文 参考訳(メタデータ) (2023-12-19T23:34:43Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳(メタデータ) (2023-03-16T00:06:28Z) - Detecting Human-to-Human-or-Object (H2O) Interactions with DIABOLO [29.0200561485714]
我々は,Human-to-Human-or-Object(H2O)という2種類のインタラクションを扱う新しいインタラクションデータセットを提案する。
さらに, 人間の身体的態度の記述に近づき, 周囲の相互作用の標的について記述することを目的とした, 動詞の新たな分類法を導入する。
提案手法は,1回のフォワードパスにおける全てのインタラクションを検出するための,効率的な主観中心単発撮影法であるDIABOLOを提案する。
論文 参考訳(メタデータ) (2022-01-07T11:00:11Z) - RR-Net: Injecting Interactive Semantics in Human-Object Interaction
Detection [40.65483058890176]
最新のエンドツーエンドHOI検出器は関係推論に欠けており、予測のためにHOI固有の対話的セマンティクスを学習できない。
まず、インタラクション推論のための新しい構造とパラメータ共有パターンをもたらす、プログレッシブな関係認識フレームを提案する。
上記のモジュールに基づいて、Relation Reasoning Network (abbr) というエンドツーエンドのトレーニング可能なフレームワークを構築します。
RR-Net)
論文 参考訳(メタデータ) (2021-04-30T14:03:10Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳(メタデータ) (2020-07-14T09:29:03Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。