論文の概要: HOKEM: Human and Object Keypoint-based Extension Module for Human-Object
Interaction Detection
- arxiv url: http://arxiv.org/abs/2306.14260v1
- Date: Sun, 25 Jun 2023 14:40:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 15:51:59.769948
- Title: HOKEM: Human and Object Keypoint-based Extension Module for Human-Object
Interaction Detection
- Title(参考訳): HOKEM:人間と物体の対話検出のためのキーポイントに基づく拡張モジュール
- Authors: Yoshiki Ito
- Abstract要約: 本稿では、従来の検出モデルの精度を向上させるために、人およびオブジェクトキーポイントベースの拡張モジュール(HOKEM)を使いやすい拡張モジュールとして提案する。
HOIデータセットであるV-COCOを用いた実験では、HOKEMが外観ベースモデルの精度を大きなマージンで向上させた。
- 参考スコア(独自算出の注目度): 1.2183405753834557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-object interaction (HOI) detection for capturing relationships between
humans and objects is an important task in the semantic understanding of
images. When processing human and object keypoints extracted from an image
using a graph convolutional network (GCN) to detect HOI, it is crucial to
extract appropriate object keypoints regardless of the object type and to
design a GCN that accurately captures the spatial relationships between
keypoints. This paper presents the human and object keypoint-based extension
module (HOKEM) as an easy-to-use extension module to improve the accuracy of
the conventional detection models. The proposed object keypoint extraction
method is simple yet accurately represents the shapes of various objects.
Moreover, the proposed human-object adaptive GCN (HO-AGCN), which introduces
adaptive graph optimization and attention mechanism, accurately captures the
spatial relationships between keypoints. Experiments using the HOI dataset,
V-COCO, showed that HOKEM boosted the accuracy of an appearance-based model by
a large margin.
- Abstract(参考訳): 人間と物体の関係を捉えるための人間と物体の相互作用(HOI)検出は、画像の意味的理解において重要な課題である。
グラフ畳み込みネットワーク(GCN)を用いて画像から抽出された人や物体のキーポイントを処理してHOIを検出する場合、対象の種類に関係なく適切な対象のキーポイントを抽出し、キーポイント間の空間的関係を正確にキャプチャするGCNを設計することが重要である。
本稿では,従来の検出モデルの精度を向上させるための拡張モジュールとして,ヒューマンおよびオブジェクトキーポイントベース拡張モジュール(hokem)を提案する。
提案するオブジェクトキーポイント抽出法は単純だが,様々なオブジェクトの形状を正確に表現する。
さらに,適応グラフ最適化と注意機構を導入した人間-対象適応gcn (ho-agcn) は,キーポイント間の空間的関係を正確に把握する。
HOIデータセットであるV-COCOを用いた実験では、HOKEMが外観ベースモデルの精度を大きなマージンで向上させた。
関連論文リスト
- Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。
画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。
オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
論文 参考訳(メタデータ) (2023-07-07T04:03:48Z) - Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural
Network [52.29330138835208]
画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。
従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。
本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
論文 参考訳(メタデータ) (2023-07-04T02:50:44Z) - Learning-based Relational Object Matching Across Views [63.63338392484501]
本稿では,RGB画像間のオブジェクト検出をマッチングするための,局所キーポイントと新たなオブジェクトレベルの特徴を組み合わせた学習ベースアプローチを提案する。
我々は、連想グラフニューラルネットワークにおいて、オブジェクト間の外観とフレーム間およびフレーム間空間関係に基づいて、オブジェクトレベルのマッチング機能を訓練する。
論文 参考訳(メタデータ) (2023-05-03T19:36:51Z) - A Skeleton-aware Graph Convolutional Network for Human-Object
Interaction Detection [14.900704382194013]
そこで我々は,SGCN4HOIという人-物間相互作用検出のためのスケルトン対応グラフ畳み込みネットワークを提案する。
我々のネットワークは、人間のキーポイントとオブジェクトキーポイントの間の空間的接続を利用して、グラフの畳み込みによるきめ細かい構造的相互作用を捉えます。
このような幾何学的特徴と視覚的特徴と、人間と物体のペアから得られる空間的構成特徴を融合させる。
論文 参考訳(メタデータ) (2022-07-11T15:20:18Z) - Detecting Human-Object Interactions with Object-Guided Cross-Modal
Calibrated Semantics [6.678312249123534]
我々は,オブジェクト指向の統計モデルを用いて,エンドツーエンドのモデルを強化することを目指している。
本稿では,Verb Semantic Model (VSM) とセマンティックアグリゲーション(セマンティックアグリゲーション)を用いて,このオブジェクト誘導階層から利益を得る方法を提案する。
上記のモジュールの組み合わせは、オブジェクト指向クロスモーダルネットワーク(OCN)を構成する。
論文 参考訳(メタデータ) (2022-02-01T07:39:04Z) - UKPGAN: A General Self-Supervised Keypoint Detector [43.35270822722044]
UKPGANは一般的な3Dキーポイント検出器である。
私たちのキーポイントは、注釈付きキーポイントラベルとよく一致します。
我々のモデルは、剛性と非剛性変換の両方の下で安定である。
論文 参考訳(メタデータ) (2020-11-24T09:08:21Z) - DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
人-物間相互作用(HOI)検出の課題に対処する。
既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。
本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
論文 参考訳(メタデータ) (2020-08-26T17:59:40Z) - Pose-based Modular Network for Human-Object Interaction Detection [5.6397911482914385]
提案するPose-based Modular Network (PMN) は,絶対的なポーズ特徴と相対的な空間的ポーズ特徴を探索し,HOI検出を改善する。
提案手法を評価するため,VS-GATと呼ばれる最新技術モデルと組み合わせ,2つの公開ベンチマークにおいて大幅な改善が得られた。
論文 参考訳(メタデータ) (2020-08-05T10:56:09Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳(メタデータ) (2020-07-14T09:29:03Z) - Attention-based Joint Detection of Object and Semantic Part [4.389917490809522]
我々のモデルは2つのFaster-RCNNモデルに基づいて作成され、それらの特徴を共有して両方の表現を拡張します。
PASCAL-Part 2010データセットの実験では、関節検出は物体検出と部分検出の両方を同時に改善できることが示された。
論文 参考訳(メタデータ) (2020-07-05T18:54:10Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。