Fugu-MT 論文翻訳(概要): Learning Mutual Excitation for Hand-to-Hand and Human-to-Human Interaction Recognition

論文の概要: Learning Mutual Excitation for Hand-to-Hand and Human-to-Human Interaction Recognition

arxiv url: http://arxiv.org/abs/2402.02431v1
Date: Sun, 4 Feb 2024 10:00:00 GMT
ステータス: 処理完了
システム内更新日: 2024-02-06 19:51:20.337388
Title: Learning Mutual Excitation for Hand-to-Hand and Human-to-Human Interaction Recognition
Title（参考訳）: 手動・手動インタラクション認識のための相互励振学習
Authors: Mengyuan Liu, Chen Chen, Songtao Wu, Fanyang Meng, Hong Liu
Abstract要約: 相互励起グラフ畳み込み層を積み重ねた相互励起グラフ畳み込みネットワーク(me-GCN)を提案する。 Me-GCは各レイヤとグラフ畳み込み操作の各ステージで相互情報を学習する。提案するme-GCは,最先端GCN法およびTransformer法より優れている。
参考スコア（独自算出の注目度）: 22.538114033191313
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recognizing interactive actions, including hand-to-hand interaction and human-to-human interaction, has attracted increasing attention for various applications in the field of video analysis and human-robot interaction. Considering the success of graph convolution in modeling topology-aware features from skeleton data, recent methods commonly operate graph convolution on separate entities and use late fusion for interactive action recognition, which can barely model the mutual semantic relationships between pairwise entities. To this end, we propose a mutual excitation graph convolutional network (me-GCN) by stacking mutual excitation graph convolution (me-GC) layers. Specifically, me-GC uses a mutual topology excitation module to firstly extract adjacency matrices from individual entities and then adaptively model the mutual constraints between them. Moreover, me-GC extends the above idea and further uses a mutual feature excitation module to extract and merge deep features from pairwise entities. Compared with graph convolution, our proposed me-GC gradually learns mutual information in each layer and each stage of graph convolution operations. Extensive experiments on a challenging hand-to-hand interaction dataset, i.e., the Assembely101 dataset, and two large-scale human-to-human interaction datasets, i.e., NTU60-Interaction and NTU120-Interaction consistently verify the superiority of our proposed method, which outperforms the state-of-the-art GCN-based and Transformer-based methods.
Abstract（参考訳）: 手動インタラクションや人間と人間のインタラクションを含む対話的行動を認識することは、ビデオ分析や人間とロボットのインタラクションの分野で様々な応用に注目が集まっている。骨格データからトポロジを認識した特徴をモデル化するグラフ畳み込みの成功を考えると、近年の手法では、グラフ畳み込みを個別のエンティティ上で動作させ、対話的行動認識に遅延融合を用いることが多い。そこで本研究では,相互励起グラフ畳み込み(me-GC)層を積み重ねた相互励起グラフ畳み込みネットワーク(me-GCN)を提案する。具体的には、me-GCは相互トポロジ励起モジュールを使用して、まず個々のエンティティから隣接行列を抽出し、それらの間の相互制約を適応的にモデル化する。さらに、me-gcは上記のアイデアを拡張し、さらに相互特徴励起モジュールを使用して、ペアワイズエンティティから深い特徴を抽出およびマージする。グラフ畳み込みと比較して,提案するme-GCは各層とグラフ畳み込み操作の各段階の相互情報を徐々に学習する。 Assembely101データセットと、NTU60-Interaction(英語版)とNTU120-Interaction(英語版)の2つの大規模人対人インタラクションデータセットに対する大規模な実験により、提案手法の優位性を一貫して検証し、最先端のGCNベースおよびトランスフォーマーベースの手法より優れていた。

関連論文リスト

Relation Learning and Aggregate-attention for Multi-person Motion Prediction [13.052342503276936]
多対人動作予測は、骨格構造や人間の軌道だけでなく、他者との相互作用も考慮している。それまでの手法では、個人内の結合関係(イントラリレーション)とグループ間の相互作用(インターリレーション)は異なる種類の表現であるとしばしば見落としていた。我々はこれらの関係を明示的にモデル化する多人数動作予測のための新しい協調フレームワークを提案する。
論文参考訳（メタデータ） (2024-11-06T07:48:30Z)
Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
論文参考訳（メタデータ） (2024-10-15T07:35:51Z)
Towards a Unified Transformer-based Framework for Scene Graph Generation and Human-object Interaction Detection [116.21529970404653]
本稿では,Transformerアーキテクチャに基づく一段階統一モデルであるSG2HOI+を紹介する。本手法では,SGGとHOI検出のタスクをシームレスに統一する2つの対話型階層変換器を用いる。提案手法は最先端のHOI法と比較して競争性能が向上する。
論文参考訳（メタデータ） (2023-11-03T07:25:57Z)
Human-to-Human Interaction Detection [3.00604614803979]
ヒューマン・ツー・ヒューマン・インタラクション検出(HID)という新しいタスクを導入する。 HIDは、被験者の検出、個人的行動の認識、対話的な関係に応じたグループ化に、1つのモデルで取り組みます。まず、アクション検出のために作成された人気のあるAVAデータセットに基づいて、AVA-Interaction(AVA-I)と呼ばれる新しいHIDベンチマークを確立する。
論文参考訳（メタデータ） (2023-07-02T03:24:58Z)
Two-person Graph Convolutional Network for Skeleton-based Human Interaction Recognition [11.650290790796323]
グラフ畳み込みネットワーク(GCN)は、骨格に基づく人間の行動認識領域において従来の手法より優れていた。本稿では,関節間の空間的相互作用の相関を表す新しい2人グラフを提案する。実験は、提案した2人グラフトポロジを利用する場合、相互作用と個々の動作の両方において精度の向上を示す。
論文参考訳（メタデータ） (2022-08-12T08:50:15Z)
IGFormer: Interaction Graph Transformer for Skeleton-based Human Interaction Recognition [26.05948629634753]
骨格に基づく対話認識のための新しい対話グラフ変換器 (IGFormer) ネットワークを提案する。 IGFormerは、対話体部分間の意味的および距離的相関に基づいて相互作用グラフを構築する。また,ヒトの骨格配列をBody-Part-Time配列に変換するセマンティック分割モジュールを提案する。
論文参考訳（メタデータ） (2022-07-25T12:11:15Z)
Pose And Joint-Aware Action Recognition [87.4780883700755]
本稿では,まず,共有動作エンコーダを用いて各関節の動作特徴を別々に抽出する,関節に基づく動作認識の新しいモデルを提案する。私たちのジョイントセレクタモジュールは、そのタスクの最も識別性の高いジョイントを選択するために、ジョイント情報を再重み付けします。 JHMDB, HMDB, Charades, AVA アクション認識データセットにおける最先端のジョイントベースアプローチに対する大きな改善点を示す。
論文参考訳（メタデータ） (2020-10-16T04:43:34Z)
DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
人-物間相互作用(HOI)検出の課題に対処する。既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
論文参考訳（メタデータ） (2020-08-26T17:59:40Z)
A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文参考訳（メタデータ） (2020-07-14T09:29:03Z)
Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。