論文の概要: PGformer: Proxy-Bridged Game Transformer for Multi-Person Extremely
Interactive Motion Prediction
- arxiv url: http://arxiv.org/abs/2306.03374v1
- Date: Tue, 6 Jun 2023 03:25:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 17:32:48.468219
- Title: PGformer: Proxy-Bridged Game Transformer for Multi-Person Extremely
Interactive Motion Prediction
- Title（参考訳）: PGformer:多人数対話型モーション予測のためのプロキシブリッジ型ゲームトランス
- Authors: Yanwen Fang, Chao Li, Jintai Chen, Pengtao Jiang, Yifeng Geng,
Xuansong Xie, Eddy K.F. LAM, Guodong Li
- Abstract要約: マルチパーソン動作予測は特に密接な相互作用のある人の現実的なシナリオにおいて難しい課題である。
本稿では,極端に協調した複数の人物の動作予測に着目した。
提案するXQAモジュールと連携するプロキシエンティティを導入,構築する。
プロキシブリッジゲームトランスフォーマー (PGformer) と呼ばれる,多人数対話型モーション予測のための簡易かつ効果的なエンドツーエンドフレームワークを考案した。
- 参考スコア（独自算出の注目度）: 18.440397365572355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-person motion prediction is a challenging task, especially for
real-world scenarios of densely interacted persons. Most previous works have
been devoted to studying the case of weak interactions (e.g., hand-shaking),
which typically forecast each human pose in isolation. In this paper, we focus
on motion prediction for multiple persons with extreme collaborations and
attempt to explore the relationships between the highly interactive persons'
motion trajectories. Specifically, a novel cross-query attention (XQA) module
is proposed to bilaterally learn the cross-dependencies between the two pose
sequences tailored for this situation. Additionally, we introduce and build a
proxy entity to bridge the involved persons, which cooperates with our proposed
XQA module and subtly controls the bidirectional information flows, acting as a
motion intermediary. We then adapt these designs to a Transformer-based
architecture and devise a simple yet effective end-to-end framework called
proxy-bridged game Transformer (PGformer) for multi-person interactive motion
prediction. The effectiveness of our method has been evaluated on the
challenging ExPI dataset, which involves highly interactive actions. We show
that our PGformer consistently outperforms the state-of-the-art methods in both
short- and long-term predictions by a large margin. Besides, our approach can
also be compatible with the weakly interacted CMU-Mocap and MuPoTS-3D datasets
and achieve encouraging results. Our code will become publicly available upon
acceptance.
- Abstract（参考訳）: マルチパーソン動作予測は特に密接な相互作用のある人の現実シナリオにおいて難しい課題である。
これまでのほとんどの作品は、通常、各人間のポーズを単独で予測する弱い相互作用(例えば、ハンドシェイキング)の研究に費やされてきた。
本稿では,過度な協調関係を有する複数人の動作予測に着目し,対話性の高い人物の動き軌跡間の関係を探究する。
具体的には,この状況に適した2つのポーズ列間の相互依存性を双方向に学習するために,新しいクロスクエリアテンション(XQA)モジュールを提案する。
さらに,提案するXQAモジュールと連携し,双方向情報フローを微妙に制御し,移動仲介役として機能する,関係者を橋渡しするプロキシエンティティを導入・構築する。
次に、これらの設計をTransformerベースのアーキテクチャに適応させ、プロキシブリッジゲームトランスフォーマー(PGformer)と呼ばれるシンプルなエンドツーエンドフレームワークを多人数対話型モーション予測に適用する。
本手法の有効性は,高度に対話的な動作を伴うEXPIデータセット上で評価されている。
PGformer は,短期・長期の予測において,最先端の手法よりも高い性能を示すことを示す。
さらに、我々のアプローチは、弱い相互作用を持つCMU-MocapとMuPoTS-3Dデータセットと互換性があり、奨励的な結果が得られる。
私たちのコードは受け入れ次第公開されます。
関連論文リスト
- Relation Learning and Aggregate-attention for Multi-person Motion Prediction [13.052342503276936]
多対人動作予測は、骨格構造や人間の軌道だけでなく、他者との相互作用も考慮している。
それまでの手法では、個人内の結合関係(イントラリレーション)とグループ間の相互作用(インターリレーション)は異なる種類の表現であるとしばしば見落としていた。
我々はこれらの関係を明示的にモデル化する多人数動作予測のための新しい協調フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-06T07:48:30Z) - Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。
具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。
バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
論文 参考訳（メタデータ） (2024-05-27T22:15:23Z) - Multi-agent Long-term 3D Human Pose Forecasting via Interaction-aware Trajectory Conditioning [41.09061877498741]
本稿では,対話型トラジェクトリ条件付き長期マルチエージェントヒューマンポーズ予測モデルを提案する。
本モデルは,人間の動作の多モード性と長期多エージェント相互作用の複雑さを効果的に扱う。
論文 参考訳（メタデータ） (2024-04-08T06:15:13Z) - Joint-Relation Transformer for Multi-Person Motion Prediction [79.08243886832601]
相互作用モデリングの強化を目的とした結合関係変換器を提案する。
提案手法は3DPW-SoMoF/RCで900ms VIMを13.4%改善し, 3s MPJPEで17.8%/12.0%改善した。
論文 参考訳（メタデータ） (2023-08-09T09:02:47Z) - The MI-Motion Dataset and Benchmark for 3D Multi-Person Motion
Prediction [13.177817435234449]
3D多対人動作予測は、個人行動や人との相互作用をモデル化する難しいタスクである。
本稿では,モーションキャプチャシステムによって収集された複数の個体の骨格配列を含むMI-Motionデータセットを提案する。
データセットには、人々のスケルトンポーズを対話する167kフレームが含まれており、5つの異なるアクティビティシーンに分類される。
論文 参考訳（メタデータ） (2023-06-23T15:38:22Z) - A Hierarchical Hybrid Learning Framework for Multi-agent Trajectory
Prediction [4.181632607997678]
深層学習(DL)と強化学習(RL)の階層的ハイブリッドフレームワークを提案する。
DLの段階では、トラフィックシーンは、トランスフォーマースタイルのGNNが異種相互作用を符号化するために採用される複数の中間スケールの異種グラフに分割される。
RLの段階では、DLの段階で予測される重要な将来点を利用して、交通シーンを局所的なサブシーンに分割する。
論文 参考訳（メタデータ） (2023-03-22T02:47:42Z) - Rethinking Trajectory Prediction via "Team Game" [118.59480535826094]
本稿では,対話型グループコンセンサスの概念を明示的に導入した,マルチエージェント軌道予測の新しい定式化について述べる。
チームスポーツと歩行者の2つのマルチエージェント設定において,提案手法は既存手法と比較して常に優れた性能を達成している。
論文 参考訳（メタデータ） (2022-10-17T07:16:44Z) - Interaction Transformer for Human Reaction Generation [61.22481606720487]
本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。
我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
論文 参考訳（メタデータ） (2022-07-04T19:30:41Z) - Learning Multiscale Correlations for Human Motion Prediction [10.335804615372629]
本研究では、人体成分間の相関を捕捉する新しいマルチスケールグラフ畳み込みネットワーク(MGCN)を提案する。
ヒューマンモーション予測のための2つの標準ベンチマークデータセットに対するアプローチを評価した。
論文 参考訳（メタデータ） (2021-03-19T07:58:16Z) - End-to-end Contextual Perception and Prediction with Interaction
Transformer [79.14001602890417]
我々は3次元物体の検出と将来の動きを自動運転の文脈で予測する問題に取り組む。
空間的・時間的依存関係を捉えるために,新しいトランスフォーマーアーキテクチャを用いたリカレントニューラルネットワークを提案する。
私たちのモデルはエンドツーエンドでトレーニングでき、リアルタイムで実行されます。
論文 参考訳（メタデータ） (2020-08-13T14:30:12Z) - A Spatial-Temporal Attentive Network with Spatial Continuity for
Trajectory Prediction [74.00750936752418]
空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。
まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。
第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
論文 参考訳（メタデータ） (2020-03-13T04:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。