論文の概要: PGformer: Proxy-Bridged Game Transformer for Multi-Person Highly
Interactive Extreme Motion Prediction
- arxiv url: http://arxiv.org/abs/2306.03374v3
- Date: Sun, 7 Jan 2024 14:05:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 23:51:08.378290
- Title: PGformer: Proxy-Bridged Game Transformer for Multi-Person Highly
Interactive Extreme Motion Prediction
- Title（参考訳）: PGformer:多人数対話型エクストリームモーション予測のためのプロキシブリッジ型ゲームトランス
- Authors: Yanwen Fang, Jintai Chen, Peng-Tao Jiang, Chao Li, Yifeng Geng, Eddy
K. F. Lam, Guodong Li
- Abstract要約: 本稿では,極端な動きを持つ複数人の協調動作予測に焦点をあてる。
プロキシユニットを導入して,提案したXQAモジュールと連携する関係者をブリッジする。
我々のアプローチは、弱い相互作用を持つCMU-MocapとMuPoTS-3Dデータセットとも互換性がある。
- 参考スコア（独自算出の注目度）: 22.209454616479505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-person motion prediction is a challenging task, especially for
real-world scenarios of highly interacted persons. Most previous works have
been devoted to studying the case of weak interactions (e.g., walking
together), in which typically forecasting each human pose in isolation can
still achieve good performances. This paper focuses on collaborative motion
prediction for multiple persons with extreme motions and attempts to explore
the relationships between the highly interactive persons' pose trajectories.
Specifically, a novel cross-query attention (XQA) module is proposed to
bilaterally learn the cross-dependencies between the two pose sequences
tailored for this situation. A proxy unit is additionally introduced to bridge
the involved persons, which cooperates with our proposed XQA module and subtly
controls the bidirectional spatial information flows. These designs are then
integrated into a Transformer-based architecture and the resulting model is
called Proxy-bridged Game Transformer (PGformer) for multi-person interactive
motion prediction. Its effectiveness has been evaluated on the challenging ExPI
dataset, which involves highly interactive actions. Our PGformer consistently
outperforms the state-of-the-art methods in both short- and long-term
predictions by a large margin. Besides, our approach can also be compatible
with the weakly interacted CMU-Mocap and MuPoTS-3D datasets and extended to the
case of more than 2 individuals with encouraging results.
- Abstract（参考訳）: マルチパーソン動作予測は,特に対話性の高い人物の現実シナリオにおいて,困難な課題である。
これまでのほとんどの研究は、弱い相互作用(例えば、一緒に歩くこと)のケースの研究に費やされてきた。
本稿では, 極端な動きを持つ複数人の協調動作予測に焦点をあて, 高度に対話的な人物のポーズ軌跡の関係を探究する。
具体的には,この状況に適した2つのポーズ列間の相互依存性を双方向に学習するために,新しいクロスクエリアテンション(XQA)モジュールを提案する。
また,提案するXQAモジュールと連携し,双方向空間情報の流れを微妙に制御するプロキシユニットを導入する。
これらの設計はTransformerベースのアーキテクチャに統合され、結果として得られるモデルは、多人数対話型モーション予測のためのProxy-bridged Game Transformer (PGformer)と呼ばれる。
その効果は、非常にインタラクティブなアクションを含む挑戦的なExPIデータセットで評価されている。
pgformerは短期予測と長期予測の両方において最先端の手法を一貫して上回っている。
さらに、我々のアプローチは、弱い相互作用を持つCMU-MocapとMuPoTS-3Dデータセットと互換性があり、2人以上の個人に対して効果を促進できる。
関連論文リスト
- Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。
具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。
バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
論文 参考訳（メタデータ） (2024-05-27T22:15:23Z) - Multi-agent Long-term 3D Human Pose Forecasting via Interaction-aware Trajectory Conditioning [41.09061877498741]
本稿では,対話型トラジェクトリ条件付き長期マルチエージェントヒューマンポーズ予測モデルを提案する。
本モデルは,人間の動作の多モード性と長期多エージェント相互作用の複雑さを効果的に扱う。
論文 参考訳（メタデータ） (2024-04-08T06:15:13Z) - Joint-Relation Transformer for Multi-Person Motion Prediction [79.08243886832601]
相互作用モデリングの強化を目的とした結合関係変換器を提案する。
提案手法は3DPW-SoMoF/RCで900ms VIMを13.4%改善し, 3s MPJPEで17.8%/12.0%改善した。
論文 参考訳（メタデータ） (2023-08-09T09:02:47Z) - The MI-Motion Dataset and Benchmark for 3D Multi-Person Motion
Prediction [13.177817435234449]
3D多対人動作予測は、個人行動や人との相互作用をモデル化する難しいタスクである。
本稿では,モーションキャプチャシステムによって収集された複数の個体の骨格配列を含むMI-Motionデータセットを提案する。
データセットには、人々のスケルトンポーズを対話する167kフレームが含まれており、5つの異なるアクティビティシーンに分類される。
論文 参考訳（メタデータ） (2023-06-23T15:38:22Z) - A Hierarchical Hybrid Learning Framework for Multi-agent Trajectory
Prediction [4.181632607997678]
深層学習(DL)と強化学習(RL)の階層的ハイブリッドフレームワークを提案する。
DLの段階では、トラフィックシーンは、トランスフォーマースタイルのGNNが異種相互作用を符号化するために採用される複数の中間スケールの異種グラフに分割される。
RLの段階では、DLの段階で予測される重要な将来点を利用して、交通シーンを局所的なサブシーンに分割する。
論文 参考訳（メタデータ） (2023-03-22T02:47:42Z) - Rethinking Trajectory Prediction via "Team Game" [118.59480535826094]
本稿では,対話型グループコンセンサスの概念を明示的に導入した,マルチエージェント軌道予測の新しい定式化について述べる。
チームスポーツと歩行者の2つのマルチエージェント設定において,提案手法は既存手法と比較して常に優れた性能を達成している。
論文 参考訳（メタデータ） (2022-10-17T07:16:44Z) - Interaction Transformer for Human Reaction Generation [61.22481606720487]
本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。
我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
論文 参考訳（メタデータ） (2022-07-04T19:30:41Z) - Learning Multiscale Correlations for Human Motion Prediction [10.335804615372629]
本研究では、人体成分間の相関を捕捉する新しいマルチスケールグラフ畳み込みネットワーク(MGCN)を提案する。
ヒューマンモーション予測のための2つの標準ベンチマークデータセットに対するアプローチを評価した。
論文 参考訳（メタデータ） (2021-03-19T07:58:16Z) - End-to-end Contextual Perception and Prediction with Interaction
Transformer [79.14001602890417]
我々は3次元物体の検出と将来の動きを自動運転の文脈で予測する問題に取り組む。
空間的・時間的依存関係を捉えるために,新しいトランスフォーマーアーキテクチャを用いたリカレントニューラルネットワークを提案する。
私たちのモデルはエンドツーエンドでトレーニングでき、リアルタイムで実行されます。
論文 参考訳（メタデータ） (2020-08-13T14:30:12Z) - Collaborative Motion Prediction via Neural Motion Message Passing [37.72454920355321]
我々は,アクター間の対話を明示的にモデル化し,アクター間の対話の表現を学習するために,ニューラルモーションメッセージパッシング(NMMP)を提案する。
提案したNMMPに基づいて,歩行者設定と共同歩行者設定と車両設定の2つの設定に対して,動作予測システムを設計する。
どちらのシステムも、既存のベンチマークで過去の最先端の手法より優れている。
論文 参考訳（メタデータ） (2020-03-14T10:12:54Z) - A Spatial-Temporal Attentive Network with Spatial Continuity for
Trajectory Prediction [74.00750936752418]
空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。
まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。
第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
論文 参考訳（メタデータ） (2020-03-13T04:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。