論文の概要: Group Activity Recognition via Dynamic Composition and Interaction
- arxiv url: http://arxiv.org/abs/2305.05583v1
- Date: Tue, 9 May 2023 16:18:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 12:11:51.140824
- Title: Group Activity Recognition via Dynamic Composition and Interaction
- Title(参考訳): 動的構成と相互作用によるグループ活動認識
- Authors: Youliang Zhang, Zhuo Zhou, Wenxuan Liu, Danni Xu, Zheng Wang
- Abstract要約: 本研究では,動的合成モジュール(DcM)と動的相互作用モジュール(DiM)を併用したDynamicFormerを提案する。
グループ構成と人間と物体の相互作用に関する知見は、私たちの中核的なアイデアを刺激する。
我々は,2つの公開データセットに対して広範な実験を行い,その手法が最先端を実現することを示す。
- 参考スコア(独自算出の注目度): 8.83578086094184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Previous group activity recognition approaches were limited to reasoning
using human relations or finding important subgroups and tended to ignore
indispensable group composition and human-object interactions. This absence
makes a partial interpretation of the scene and increases the interference of
irrelevant actions on the results. Therefore, we propose our DynamicFormer with
Dynamic composition Module (DcM) and Dynamic interaction Module (DiM) to model
relations and locations of persons and discriminate the contribution of
participants, respectively. Our findings on group composition and human-object
interaction inspire our core idea. Group composition tells us the location of
people and their relations inside the group, while interaction reflects the
relation between humans and objects outside the group. We utilize spatial and
temporal encoders in DcM to model our dynamic composition and build DiM to
explore interaction with a novel GCN, which has a transformer inside to
consider the temporal neighbors of human/object. Also, a Multi-level Dynamic
Integration is employed to integrate features from different levels. We conduct
extensive experiments on two public datasets and show that our method achieves
state-of-the-art.
- Abstract(参考訳): 従来のグループ活動認識手法は,人間関係を利用した推論や重要なサブグループ発見に限られていた。
この欠如はシーンを部分的に解釈し、結果に対する無関係なアクションの干渉を増加させる。
そこで本稿では,ダイナミックコンポジションモジュール(DcM)と動的インタラクションモジュール(DiM)を用いて,人との関係と位置をモデル化し,参加者の貢献を識別する。
グループ構成と人間と物体の相互作用に関する知見は、私たちの中核的なアイデアを刺激する。
グループ構成は、グループ内の人の位置とそれらの関係を教えてくれる一方、相互作用はグループ外の人間とオブジェクトの関係を反映する。
我々はdcmにおける空間的および時間的エンコーダを用いて動的構成をモデル化し、dimを構築し、人間/物体の時間的近傍を考えるトランスフォーマーを内蔵した新しいgcnと相互作用を探索する。
また、異なるレベルの機能を統合するために、マルチレベル動的統合が採用されています。
我々は,2つの公開データセットに対して広範な実験を行い,その手法が最先端を実現することを示す。
関連論文リスト
- Learning Mutual Excitation for Hand-to-Hand and Human-to-Human
Interaction Recognition [22.538114033191313]
相互励起グラフ畳み込み層を積み重ねた相互励起グラフ畳み込みネットワーク(me-GCN)を提案する。
Me-GCは各レイヤとグラフ畳み込み操作の各ステージで相互情報を学習する。
提案するme-GCは,最先端GCN法およびTransformer法より優れている。
論文 参考訳(メタデータ) (2024-02-04T10:00:00Z) - LEMON: Learning 3D Human-Object Interaction Relation from 2D Images [60.736380150544925]
人間の物体と物体の相互作用関係の学習は、AIと相互作用モデリングの具体化に不可欠である。
既存のほとんどの手法は、孤立した相互作用要素を予測することを学ぶことで目標に近づいている。
本稿では,相互の相互作用意図をマイニングし,幾何相関の抽出を導出するための曲率を用いた統一モデルLEMONを提案する。
論文 参考訳(メタデータ) (2023-12-14T14:10:57Z) - A Grammatical Compositional Model for Video Action Detection [24.546886938243393]
典型的なAnd-Orグラフに基づく行動検出のための新しい文法合成モデル(GCM)を提案する。
本モデルは,文法モデルの構成性とDNNのリッチな特徴を表現する能力の両面を活用するために,階層的な動作の固有構造と潜時的関係を利用する。
論文 参考訳(メタデータ) (2023-10-04T15:24:00Z) - Two-stream Multi-level Dynamic Point Transformer for Two-person
Interaction Recognition [65.87203087716263]
本稿では,2人インタラクション認識のための2ストリームマルチレベル動的ポイント変換器を提案する。
本モデルでは,局所空間情報,外観情報,動作情報を組み込むことで,対人インタラクションを認識するという課題に対処する。
我々のネットワークは、すべての標準評価設定において最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-07-22T03:51:32Z) - Human-to-Human Interaction Detection [3.00604614803979]
ヒューマン・ツー・ヒューマン・インタラクション検出(HID)という新しいタスクを導入する。
HIDは、被験者の検出、個人的行動の認識、対話的な関係に応じたグループ化に、1つのモデルで取り組みます。
まず、アクション検出のために作成された人気のあるAVAデータセットに基づいて、AVA-Interaction(AVA-I)と呼ばれる新しいHIDベンチマークを確立する。
論文 参考訳(メタデータ) (2023-07-02T03:24:58Z) - Rethinking Trajectory Prediction via "Team Game" [118.59480535826094]
本稿では,対話型グループコンセンサスの概念を明示的に導入した,マルチエージェント軌道予測の新しい定式化について述べる。
チームスポーツと歩行者の2つのマルチエージェント設定において,提案手法は既存手法と比較して常に優れた性能を達成している。
論文 参考訳(メタデータ) (2022-10-17T07:16:44Z) - Interaction Transformer for Human Reaction Generation [61.22481606720487]
本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。
我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
論文 参考訳(メタデータ) (2022-07-04T19:30:41Z) - Skeleton-Based Mutually Assisted Interacted Object Localization and
Human Action Recognition [111.87412719773889]
本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。
本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
論文 参考訳(メタデータ) (2021-10-28T10:09:34Z) - Spatio-Temporal Dynamic Inference Network for Group Activity Recognition [7.007702816885332]
グループ活動は、その問題を解決するために人々のグループが行う活動を理解することを目的としている。
従来の手法は、人固有のコンテキストを無視する事前定義されたグラフの推論において制限される。
本稿では、動的関係(DR)モジュールと動的ウォーク(DW)モジュールで構成される動的推論ネットワーク(DIN)を提案する。
論文 参考訳(メタデータ) (2021-08-26T12:40:20Z) - Learning Asynchronous and Sparse Human-Object Interaction in Videos [56.73059840294019]
Asynchronous-Sparse Interaction Graph Networks(ASSIGN)は、ビデオシーン内のエンティティに関連するインタラクションイベントの構造を自動的に検出します。
ASSIGNは人間と物体の相互作用認識において試験され、人間のサブアクティビティのセグメンテーションおよびラベル付けにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2021-03-03T23:43:55Z) - Skeleton-based Relational Reasoning for Group Activity Analysis [40.49389173100578]
スケルトン情報を活用して、そこから直接個人間の相互作用を学習します。
本実験は,複数対人インタラクションをモデル化するスケルトンベースのアプローチの可能性を示す。
論文 参考訳(メタデータ) (2020-11-11T09:25:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。