論文の概要: Understanding Spatio-Temporal Relations in Human-Object Interaction using Pyramid Graph Convolutional Network
- arxiv url: http://arxiv.org/abs/2410.07912v1
- Date: Thu, 10 Oct 2024 13:39:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 14:06:15.973838
- Title: Understanding Spatio-Temporal Relations in Human-Object Interaction using Pyramid Graph Convolutional Network
- Title（参考訳）: ピラミッドグラフ畳み込みネットワークを用いた人間と物体の相互作用における時空間関係の理解
- Authors: Hao Xing, Darius Burschka,
- Abstract要約: 本稿では,人間と物体の相互作用を自動的に認識する新しいピラミッドグラフ畳み込みネットワーク(PGCN)を提案する。
このシステムは、映像データをグラフとして検出した結果から、人間と物体の2次元または3次元空間関係を表す。
我々は,人間と物体の相互作用認識の分野で,2つの挑戦的データセット上でモデルを評価した。
- 参考スコア（独自算出の注目度）: 2.223052975765005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human activities recognition is an important task for an intelligent robot, especially in the field of human-robot collaboration, it requires not only the label of sub-activities but also the temporal structure of the activity. In order to automatically recognize both the label and the temporal structure in sequence of human-object interaction, we propose a novel Pyramid Graph Convolutional Network (PGCN), which employs a pyramidal encoder-decoder architecture consisting of an attention based graph convolution network and a temporal pyramid pooling module for downsampling and upsampling interaction sequence on the temporal axis, respectively. The system represents the 2D or 3D spatial relation of human and objects from the detection results in video data as a graph. To learn the human-object relations, a new attention graph convolutional network is trained to extract condensed information from the graph representation. To segment action into sub-actions, a novel temporal pyramid pooling module is proposed, which upsamples compressed features back to the original time scale and classifies actions per frame. We explore various attention layers, namely spatial attention, temporal attention and channel attention, and combine different upsampling decoders to test the performance on action recognition and segmentation. We evaluate our model on two challenging datasets in the field of human-object interaction recognition, i.e. Bimanual Actions and IKEA Assembly datasets. We demonstrate that our classifier significantly improves both framewise action recognition and segmentation, e.g., F1 micro and F1@50 scores on Bimanual Actions dataset are improved by $4.3\%$ and $8.5\%$ respectively.
- Abstract（参考訳）: 人間活動認識は知的ロボットにとって重要なタスクであり、特に人間とロボットのコラボレーションの分野では、サブアクティビティのラベルだけでなく、アクティビティの時間構造も必要である。
人・物間相互作用の順序でラベルと時間構造の両方を自動的に認識するために,注目に基づくグラフ畳み込みネットワークと,時間軸上の相互作用シーケンスをダウンサンプリングおよびアップサンプリングするための時間ピラミッドプーリングモジュールからなるピラミッドエンコーダ・デコーダアーキテクチャを用いた新しいピラミッドグラフ畳み込みネットワーク(PGCN)を提案する。
このシステムは、映像データをグラフとして検出した結果から、人間と物体の2次元または3次元空間関係を表す。
人・物の関係を学習するために、新しい注目グラフ畳み込みネットワークを訓練し、グラフ表現から凝縮した情報を抽出する。
動作をサブアクションに分割するために、圧縮された特徴を元の時間スケールに戻し、フレームごとにアクションを分類する新しい時間的ピラミッドプーリングモジュールを提案する。
我々は,空間的注意,時間的注意,チャネル的注意といった様々な注意層を探索し,異なるアップサンプリングデコーダを組み合わせることで,動作認識とセグメンテーションの性能をテストする。
我々は,人間と物体の相互作用認識分野,すなわちバイマメンタルアクションとIKEAアセンブリデータセットの2つの挑戦的データセットに対して,我々のモデルを評価した。
この分類器はフレームワイドアクション認識とセグメンテーションの両方を大幅に改善し、例えば、F1 microとF1@50のスコアがそれぞれ4.3\%$と8.5\%$で改善されることを示した。
関連論文リスト
- Towards a Unified Transformer-based Framework for Scene Graph Generation
and Human-object Interaction Detection [116.21529970404653]
本稿では,Transformerアーキテクチャに基づく一段階統一モデルであるSG2HOI+を紹介する。
本手法では,SGGとHOI検出のタスクをシームレスに統一する2つの対話型階層変換器を用いる。
提案手法は最先端のHOI法と比較して競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-03T07:25:57Z) - IGFormer: Interaction Graph Transformer for Skeleton-based Human
Interaction Recognition [26.05948629634753]
骨格に基づく対話認識のための新しい対話グラフ変換器 (IGFormer) ネットワークを提案する。
IGFormerは、対話体部分間の意味的および距離的相関に基づいて相互作用グラフを構築する。
また,ヒトの骨格配列をBody-Part-Time配列に変換するセマンティック分割モジュールを提案する。
論文 参考訳（メタデータ） (2022-07-25T12:11:15Z) - Skeletal Human Action Recognition using Hybrid Attention based Graph
Convolutional Network [3.261599248682793]
相対的距離と相対的角度情報に基づいて局所的注意マップをグローバルに拡張する適応型空間的注意層を提案する。
我々は,頭部,手,足を結ぶ新しい初期グラフ隣接行列を設計し,行動認識精度の点で目に見える改善点を示す。
提案モデルは,日常生活における人間活動の分野における大規模かつ挑戦的な2つのデータセットを用いて評価する。
論文 参考訳（メタデータ） (2022-07-12T12:22:21Z) - A Skeleton-aware Graph Convolutional Network for Human-Object
Interaction Detection [14.900704382194013]
そこで我々は,SGCN4HOIという人-物間相互作用検出のためのスケルトン対応グラフ畳み込みネットワークを提案する。
我々のネットワークは、人間のキーポイントとオブジェクトキーポイントの間の空間的接続を利用して、グラフの畳み込みによるきめ細かい構造的相互作用を捉えます。
このような幾何学的特徴と視覚的特徴と、人間と物体のペアから得られる空間的構成特徴を融合させる。
論文 参考訳（メタデータ） (2022-07-11T15:20:18Z) - Spatial Parsing and Dynamic Temporal Pooling networks for Human-Object
Interaction detection [30.896749712316222]
本稿では,空間的パーシングと動的テンポリング(SPDTP)ネットワークについて紹介する。
我々はCAD-120およびSome-Elseデータセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-06-07T07:26:06Z) - HighlightMe: Detecting Highlights from Human-Centric Videos [52.84233165201391]
我々は,人間中心のビデオからハイライト可能な抜粋を検出するために,ドメインとユーザに依存しないアプローチを提案する。
本研究では,時空間グラフ畳み込みを用いたオートエンコーダネットワークを用いて,人間の活動やインタラクションを検出する。
我々は,最先端の手法に比べて,人手によるハイライトのマッチングの平均精度が4～12%向上したことを観察した。
論文 参考訳（メタデータ） (2021-10-05T01:18:15Z) - Spatio-Temporal Interaction Graph Parsing Networks for Human-Object
Interaction Recognition [55.7731053128204]
ビデオに基づくヒューマンオブジェクトインタラクションシーンでは、人間とオブジェクトの時間的関係をモデル化することが、ビデオに提示されるコンテキスト情報を理解するための重要な手がかりである。
実効時間関係モデリングでは、各フレームの文脈情報を明らかにするだけでなく、時間間の依存関係を直接キャプチャすることもできる。
外観特徴、空間的位置、意味情報のフル活用は、ビデオベースのヒューマンオブジェクトインタラクション認識性能を改善する鍵でもある。
論文 参考訳（メタデータ） (2021-08-19T11:57:27Z) - Spatial-Temporal Correlation and Topology Learning for Person
Re-Identification in Videos [78.45050529204701]
クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。
CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。
グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
論文 参考訳（メタデータ） (2021-04-15T14:32:12Z) - DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
人-物間相互作用(HOI)検出の課題に対処する。
既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。
本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
論文 参考訳（メタデータ） (2020-08-26T17:59:40Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳（メタデータ） (2020-07-14T09:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。