論文の概要: Trajectory-Aware Body Interaction Transformer for Multi-Person Pose
Forecasting
- arxiv url: http://arxiv.org/abs/2303.05095v1
- Date: Thu, 9 Mar 2023 08:13:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 15:45:35.276445
- Title: Trajectory-Aware Body Interaction Transformer for Multi-Person Pose
Forecasting
- Title（参考訳）: 多人数ポーズ予測のための軌道認識体相互作用トランス
- Authors: Xiaogang Peng, Siyuan Mao, Zizhao Wu
- Abstract要約: 本稿では,多人数ポーズ予測のためのトラジェクティブ・アウェア・ボディインタラクション・トランスフォーマ(TBIFormer)を提案する。
具体的には、すべてのポーズ列を多人数のボディ・パート・シーケンスに変換する時間的ボディ分割モジュールを構築する。
そこで,SBI-MSA(Social Body Interaction Self-Attention)モジュールを開発した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-person pose forecasting remains a challenging problem, especially in
modeling fine-grained human body interaction in complex crowd scenarios.
Existing methods typically represent the whole pose sequence as a temporal
series, yet overlook interactive influences among people based on skeletal body
parts. In this paper, we propose a novel Trajectory-Aware Body Interaction
Transformer (TBIFormer) for multi-person pose forecasting via effectively
modeling body part interactions. Specifically, we construct a Temporal Body
Partition Module that transforms all the pose sequences into a Multi-Person
Body-Part sequence to retain spatial and temporal information based on body
semantics. Then, we devise a Social Body Interaction Self-Attention (SBI-MSA)
module, utilizing the transformed sequence to learn body part dynamics for
inter- and intra-individual interactions. Furthermore, different from prior
Euclidean distance-based spatial encodings, we present a novel and efficient
Trajectory-Aware Relative Position Encoding for SBI-MSA to offer discriminative
spatial information and additional interactive clues. On both short- and
long-term horizons, we empirically evaluate our framework on CMU-Mocap,
MuPoTS-3D as well as synthesized datasets (6 ~ 10 persons), and demonstrate
that our method greatly outperforms the state-of-the-art methods. Code will be
made publicly available upon acceptance.
- Abstract（参考訳）: 多人数のポーズ予測は、特に複雑な群衆シナリオにおけるきめ細かい人体相互作用のモデリングにおいて、依然として困難な問題である。
既存の方法は通常、ポーズのシーケンス全体を時系列として表現するが、骨格の身体部位に基づく人との対話的な影響は見過ごされている。
本稿では,身体部位間相互作用を効果的にモデル化し,多人数ポーズ予測のための新しい軌道認識ボディーインタラクショントランス(tbiformer)を提案する。
具体的には、すべてのポーズシーケンスを多人数のボディパートシーケンスに変換し、ボディセマンティクスに基づく空間的および時間的情報を保持する時間的ボディ分割モジュールを構築する。
そこで,SBI-MSA(Social Body Interaction Self-Attention)モジュールを開発した。
さらに,従来のユークリッド距離に基づく空間符号化とは違って,sbi-msaのための新しい効率的な軌道対応相対位置符号化法を提案する。
CMU-Mocap, MuPoTS-3D, および合成されたデータセット(6～10人)の枠組みを, 短期的・長期的両面において実証的に評価し, 提案手法が最先端の手法を大きく上回ることを示す。
コードは受理次第公開される予定だ。
関連論文リスト
- TextIM: Part-aware Interactive Motion Synthesis from Text [25.91739105467082]
TextIMは、TEXT駆動のヒューマンインタラクティブモーションを合成するための新しいフレームワークである。
我々のアプローチは、人間の脳として機能する大きな言語モデルを利用して、相互作用する人間の身体部分を特定する。
トレーニングと評価のために,HUMANML3Dからインタラクティブな動きを慎重に選択し,再ラベルし,特殊なデータセットを開発した。
論文 参考訳（メタデータ） (2024-08-06T17:08:05Z) - THOR: Text to Human-Object Interaction Diffusion via Relation Intervention [51.02435289160616]
我々は、リレーショナルインターベンション(THOR)を用いたテキスト誘導型ヒューマンオブジェクト相互作用拡散モデルを提案する。
各拡散段階において、テキスト誘導された人間と物体の動きを開始し、その後、人と物体の関係を利用して物体の動きに介入する。
テキスト記述をシームレスに統合するText2HOIデータセットであるText-BEHAVEを,現在最大規模で公開されている3D HOIデータセットに構築する。
論文 参考訳（メタデータ） (2024-03-17T13:17:25Z) - Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。
人体全体の動きや部分レベルの物体の動きを複雑に捉えます。
本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
論文 参考訳（メタデータ） (2024-03-13T15:45:04Z) - InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。
そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
論文 参考訳（メタデータ） (2023-11-27T14:32:33Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳（メタデータ） (2022-12-20T19:50:54Z) - SoMoFormer: Multi-Person Pose Forecasting with Transformers [15.617263162155062]
マルチパーソン3Dポーズ予測のためのソーシャルモーショントランスフォーマー(SoMoFormer)を提案する。
我々のトランスアーキテクチャは、人間の動作入力を時系列ではなくジョイントシーケンスとして一意にモデル化する。
この問題の修正により、SoMoFormerは自然に、シーン内のすべての人の関節を入力クエリとして使用することで、マルチパーソンシーンに拡張できることを示す。
論文 参考訳（メタデータ） (2022-08-30T06:59:28Z) - IGFormer: Interaction Graph Transformer for Skeleton-based Human
Interaction Recognition [26.05948629634753]
骨格に基づく対話認識のための新しい対話グラフ変換器 (IGFormer) ネットワークを提案する。
IGFormerは、対話体部分間の意味的および距離的相関に基づいて相互作用グラフを構築する。
また,ヒトの骨格配列をBody-Part-Time配列に変換するセマンティック分割モジュールを提案する。
論文 参考訳（メタデータ） (2022-07-25T12:11:15Z) - A Spatio-Temporal Multilayer Perceptron for Gesture Recognition [70.34489104710366]
自律走行車におけるジェスチャー認識のための多層状態重み付きパーセプトロンを提案する。
提案手法の有望な性能を示すため,TCGおよびDrive&Actデータセットの評価を行った。
私たちは、そのリアルタイム能力と安定した実行を示すために、モデルを自動運転車にデプロイします。
論文 参考訳（メタデータ） (2022-04-25T08:42:47Z) - Transformer Inertial Poser: Attention-based Real-time Human Motion
Reconstruction from Sparse IMUs [79.72586714047199]
本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。
提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
論文 参考訳（メタデータ） (2022-03-29T16:24:52Z) - Dyadformer: A Multi-modal Transformer for Long-Range Modeling of Dyadic
Interactions [33.67477398036821]
そこで我々はDyadformerを提案する。Dyadformerは、動的相互作用における個人的および対人的特徴をモデル化する、新しいマルチモーダルマルチオブジェクトトランスフォーマーアーキテクチャである。
提案するクロスオブジェクト層は,対象者間のインタラクションを注意的操作により明示的にモデル化することを可能にする。
この概念実証アプローチは、双方の相互作用の複数モーダリティと結合モデリングが、より長い時間にわたって、個々の属性を予測するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2021-09-20T12:45:04Z) - Human Interaction Recognition Framework based on Interacting Body Part
Attention [24.913372626903648]
人間の相互作用の暗黙的および明示的な表現を同時に考慮する新しいフレームワークを提案する。
提案手法は, 相互作用部位の注意力を用いて, 異なる相互作用の微妙な違いを捉える。
提案手法の有効性を4つの公開データセットを用いて検証する。
論文 参考訳（メタデータ） (2021-01-22T06:52:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。