論文の概要: Relation Learning and Aggregate-attention for Multi-person Motion Prediction
- arxiv url: http://arxiv.org/abs/2411.03729v1
- Date: Wed, 06 Nov 2024 07:48:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-07 19:24:27.373333
- Title: Relation Learning and Aggregate-attention for Multi-person Motion Prediction
- Title(参考訳): 多人数動作予測のための関係学習とアグリゲートアテンション
- Authors: Kehua Qu, Rui Ding, Jin Tang,
- Abstract要約: 多対人動作予測は、骨格構造や人間の軌道だけでなく、他者との相互作用も考慮している。
それまでの手法では、個人内の結合関係(イントラリレーション)とグループ間の相互作用(インターリレーション)は異なる種類の表現であるとしばしば見落としていた。
我々はこれらの関係を明示的にモデル化する多人数動作予測のための新しい協調フレームワークを提案する。
- 参考スコア(独自算出の注目度): 13.052342503276936
- License:
- Abstract: Multi-person motion prediction is an emerging and intricate task with broad real-world applications. Unlike single person motion prediction, it considers not just the skeleton structures or human trajectories but also the interactions between others. Previous methods use various networks to achieve impressive predictions but often overlook that the joints relations within an individual (intra-relation) and interactions among groups (inter-relation) are distinct types of representations. These methods often lack explicit representation of inter&intra-relations, and inevitably introduce undesired dependencies. To address this issue, we introduce a new collaborative framework for multi-person motion prediction that explicitly modeling these relations:a GCN-based network for intra-relations and a novel reasoning network for inter-relations.Moreover, we propose a novel plug-and-play aggregation module called the Interaction Aggregation Module (IAM), which employs an aggregate-attention mechanism to seamlessly integrate these relations. Experiments indicate that the module can also be applied to other dual-path models. Extensive experiments on the 3DPW, 3DPW-RC, CMU-Mocap, MuPoTS-3D, as well as synthesized datasets Mix1 & Mix2 (9 to 15 persons), demonstrate that our method achieves state-of-the-art performance.
- Abstract(参考訳): マルチパーソン動作予測は、幅広い現実世界の応用において、新しく複雑なタスクである。
単体の動き予測とは異なり、骨格構造や人間の軌道だけでなく、他者との相互作用も考慮している。
従来の手法では、様々なネットワークを用いて印象的な予測を行うが、個々の(相互関係)内の結合関係とグループ間の相互作用(相互関係)は異なる種類の表現であるとしばしば見落としている。
これらのメソッドは、しばしばインター・イントラ・リレーションの明示的な表現を欠き、必然的に望ましくない依存関係を導入します。
この問題に対処するために,我々は,これらの関係を明示的にモデル化する,複数対人動作予測のための新しい協調フレームワークを提案する: 関係関係をシームレスに統合する,相互関係のためのGCNベースのネットワークと,相互関係のための新たな推論ネットワークである。
実験の結果、モジュールは他のデュアルパスモデルにも適用可能であることが示された。
3DPW, 3DPW-RC, CMU-Mocap, MuPoTS-3D, および合成データセットMix1とMix2(9~15名)の大規模な実験により, 本手法が最先端の性能を達成することを示す。
関連論文リスト
- Learning Mutual Excitation for Hand-to-Hand and Human-to-Human
Interaction Recognition [22.538114033191313]
相互励起グラフ畳み込み層を積み重ねた相互励起グラフ畳み込みネットワーク(me-GCN)を提案する。
Me-GCは各レイヤとグラフ畳み込み操作の各ステージで相互情報を学習する。
提案するme-GCは,最先端GCN法およびTransformer法より優れている。
論文 参考訳(メタデータ) (2024-02-04T10:00:00Z) - I2SRM: Intra- and Inter-Sample Relationship Modeling for Multimodal
Information Extraction [10.684005956288347]
本稿では,本課題に対するサンプル内およびサンプル間関係モデリング(I2SRM)手法を提案する。
提案手法は,Twitter-2015で77.12%のF1スコア,Twitter-2017で88.40%のF1スコア,MNREで84.12%のF1スコアと競合する結果を得た。
論文 参考訳(メタデータ) (2023-10-10T05:50:25Z) - Joint-Relation Transformer for Multi-Person Motion Prediction [79.08243886832601]
相互作用モデリングの強化を目的とした結合関係変換器を提案する。
提案手法は3DPW-SoMoF/RCで900ms VIMを13.4%改善し, 3s MPJPEで17.8%/12.0%改善した。
論文 参考訳(メタデータ) (2023-08-09T09:02:47Z) - Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。
MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
論文 参考訳(メタデータ) (2023-07-19T02:11:19Z) - InterGen: Diffusion-based Multi-human Motion Generation under Complex Interactions [49.097973114627344]
動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。
我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。
本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
論文 参考訳(メタデータ) (2023-04-12T08:12:29Z) - Rethinking Trajectory Prediction via "Team Game" [118.59480535826094]
本稿では,対話型グループコンセンサスの概念を明示的に導入した,マルチエージェント軌道予測の新しい定式化について述べる。
チームスポーツと歩行者の2つのマルチエージェント設定において,提案手法は既存手法と比較して常に優れた性能を達成している。
論文 参考訳(メタデータ) (2022-10-17T07:16:44Z) - Interaction Modeling with Multiplex Attention [17.04973256281265]
マルチエージェントシステムを正確にモデル化する手法を提案する。
提案手法は, 軌道予測や関係推定において, 最先端モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-08-23T00:29:18Z) - Spatio-Temporal Dynamic Inference Network for Group Activity Recognition [7.007702816885332]
グループ活動は、その問題を解決するために人々のグループが行う活動を理解することを目的としている。
従来の手法は、人固有のコンテキストを無視する事前定義されたグラフの推論において制限される。
本稿では、動的関係(DR)モジュールと動的ウォーク(DW)モジュールで構成される動的推論ネットワーク(DIN)を提案する。
論文 参考訳(メタデータ) (2021-08-26T12:40:20Z) - Multi-Agent Imitation Learning with Copulas [102.27052968901894]
マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。
本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。
提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
論文 参考訳(メタデータ) (2021-07-10T03:49:41Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳(メタデータ) (2020-03-09T17:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。