論文の概要: Spatial Priming for Detecting Human-Object Interactions
- arxiv url: http://arxiv.org/abs/2004.04851v1
- Date: Thu, 9 Apr 2020 23:20:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 01:51:53.684948
- Title: Spatial Priming for Detecting Human-Object Interactions
- Title（参考訳）: 人間と物体の相互作用検出のための空間的プライミング
- Authors: Ankan Bansal, Sai Saketh Rambhatla, Abhinav Shrivastava, Rama
Chellappa
- Abstract要約: 画像中の人-物間相互作用(HOI)を検出するために,空間的レイアウト情報を利用する手法を提案する。
提案手法は,視覚モジュールを初期化して人間と物体の相互作用のタイプを予測するレイアウトモジュールから構成される。
提案したモデルでは、HICO-DetデータセットのmAPが24.79%に達し、これは現在の最先端よりも約2.8%高い。
- 参考スコア（独自算出の注目度）: 89.22921959224396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The relative spatial layout of a human and an object is an important cue for
determining how they interact. However, until now, spatial layout has been used
just as side-information for detecting human-object interactions (HOIs). In
this paper, we present a method for exploiting this spatial layout information
for detecting HOIs in images. The proposed method consists of a layout module
which primes a visual module to predict the type of interaction between a human
and an object. The visual and layout modules share information through lateral
connections at several stages. The model uses predictions from the layout
module as a prior to the visual module and the prediction from the visual
module is given as the final output. It also incorporates semantic information
about the object using word2vec vectors. The proposed model reaches an mAP of
24.79% for HICO-Det dataset which is about 2.8% absolute points higher than the
current state-of-the-art.
- Abstract（参考訳）: 人間と物体の相対的な空間配置は、それらの相互作用を決定する上で重要な手がかりである。
しかし、これまで空間レイアウトは、人間と物体の相互作用(hois)を検出するためのサイド情報として使われてきた。
本稿では,この空間配置情報を利用して画像中のHOIを検出する手法を提案する。
提案手法は,人間とオブジェクトとのインタラクションのタイプを予測するビジュアルモジュールを提示するレイアウトモジュールで構成されている。
ビジュアルモジュールとレイアウトモジュールは、複数の段階で横接続を通して情報を共有する。
モデルは、レイアウトモジュールからの予測をビジュアルモジュールの先行として使用し、ビジュアルモジュールからの予測を最終的な出力として与える。
また、Word2vecベクトルを使ってオブジェクトのセマンティック情報を組み込む。
提案したモデルでは、HICO-DetデータセットのmAPが24.79%に達し、これは現在の最先端よりも約2.8%高い。
関連論文リスト
- A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。
CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。
本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
論文 参考訳（メタデータ） (2024-07-31T08:42:48Z) - Exploring Robust Features for Few-Shot Object Detection in Satellite
Imagery [17.156864650143678]
従来の2段階アーキテクチャに基づく数発の物体検出器を開発した。
大規模な事前訓練モデルを使用して、クラス参照の埋め込みやプロトタイプを構築する。
課題と稀なオブジェクトを含む2つのリモートセンシングデータセットの評価を行う。
論文 参考訳（メタデータ） (2024-03-08T15:20:27Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳（メタデータ） (2023-03-16T00:06:28Z) - Detecting Human-Object Interactions with Object-Guided Cross-Modal
Calibrated Semantics [6.678312249123534]
我々は,オブジェクト指向の統計モデルを用いて,エンドツーエンドのモデルを強化することを目指している。
本稿では,Verb Semantic Model (VSM) とセマンティックアグリゲーション(セマンティックアグリゲーション)を用いて,このオブジェクト誘導階層から利益を得る方法を提案する。
上記のモジュールの組み合わせは、オブジェクト指向クロスモーダルネットワーク(OCN)を構成する。
論文 参考訳（メタデータ） (2022-02-01T07:39:04Z) - Exploiting Scene Graphs for Human-Object Interaction Detection [81.49184987430333]
ヒューマン・オブジェクト・インタラクション(Human-Object Interaction,HOI)検出は、人間とオブジェクト間のインタラクションのローカライズと認識を目的とした、基本的な視覚的タスクである。
そこで本研究では,シーングラフを用いたヒューマン・オブジェクト・インタラクション(SG2HOI)検出タスクのための新しい手法を提案する。
SG2HOIはSG情報を2つの方法で組み込む:(1)シーングラフを世界的文脈の手がかりに埋め込み、シーン固有の環境コンテキストとして機能し、(2)オブジェクトの近傍から関係を収集し、それらを対話に転送するリレーショナル・アウェア・メッセージ・パッシング・モジュールを構築する。
論文 参考訳（メタデータ） (2021-08-19T09:40:50Z) - Intrinsic Relationship Reasoning for Small Object Detection [44.68289739449486]
画像やビデオの小さなオブジェクトは通常、独立した個人ではない。その代わりに、意味的および空間的レイアウトの関係を多かれ少なかれ提示する。
本稿では,オブジェクト間の固有意味と空間的レイアウトの関係をモデル化し,推論する,小さなオブジェクト検出のための新しいコンテキスト推論手法を提案する。
論文 参考訳（メタデータ） (2020-09-02T06:03:05Z) - Pose-based Modular Network for Human-Object Interaction Detection [5.6397911482914385]
提案するPose-based Modular Network (PMN) は,絶対的なポーズ特徴と相対的な空間的ポーズ特徴を探索し,HOI検出を改善する。
提案手法を評価するため,VS-GATと呼ばれる最新技術モデルと組み合わせ,2つの公開ベンチマークにおいて大幅な改善が得られた。
論文 参考訳（メタデータ） (2020-08-05T10:56:09Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳（メタデータ） (2020-07-14T09:29:03Z) - Attention-based Joint Detection of Object and Semantic Part [4.389917490809522]
我々のモデルは2つのFaster-RCNNモデルに基づいて作成され、それらの特徴を共有して両方の表現を拡張します。
PASCAL-Part 2010データセットの実験では、関節検出は物体検出と部分検出の両方を同時に改善できることが示された。
論文 参考訳（メタデータ） (2020-07-05T18:54:10Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳（メタデータ） (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。