論文の概要: SoMoFormer: Social-Aware Motion Transformer for Multi-Person Motion
Prediction
- arxiv url: http://arxiv.org/abs/2208.09224v1
- Date: Fri, 19 Aug 2022 08:57:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-22 17:13:13.975898
- Title: SoMoFormer: Social-Aware Motion Transformer for Multi-Person Motion
Prediction
- Title(参考訳): somoformer:多人数動作予測のためのソーシャルアウェアモーショントランスフォーマー
- Authors: Xiaogang Peng, Yaodi Shen, Haoran Wang, Binling Nie, Yigang Wang and
Zizhao Wu
- Abstract要約: 本稿では,ソーシャル・アウェア・モーション・トランスフォーマー(SoMoFormer)を提案する。
SoMoFormerは、変位軌道空間のサブシーケンスから運動特徴を抽出し、各個人に対する局所的およびグローバルなポーズダイナミクスを学習する。
さらに,SoMoFormerに新たなソーシャル・アウェア・アテンション・アテンション・メカニズムを考案し,動的表現をさらに最適化し,相互依存を同時に捉える。
- 参考スコア(独自算出の注目度): 10.496276090281825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-person motion prediction remains a challenging problem, especially in
the joint representation learning of individual motion and social interactions.
Most prior methods only involve learning local pose dynamics for individual
motion (without global body trajectory) and also struggle to capture complex
interaction dependencies for social interactions. In this paper, we propose a
novel Social-Aware Motion Transformer (SoMoFormer) to effectively model
individual motion and social interactions in a joint manner. Specifically,
SoMoFormer extracts motion features from sub-sequences in displacement
trajectory space to effectively learn both local and global pose dynamics for
each individual. In addition, we devise a novel social-aware motion attention
mechanism in SoMoFormer to further optimize dynamics representations and
capture interaction dependencies simultaneously via motion similarity
calculation across time and social dimensions. On both short- and long-term
horizons, we empirically evaluate our framework on multi-person motion datasets
and demonstrate that our method greatly outperforms state-of-the-art methods of
single- and multi-person motion prediction. Code will be made publicly
available upon acceptance.
- Abstract(参考訳): 複数対人動作予測は、特に個人の動きと社会的相互作用の同時表現学習において、依然として困難な問題である。
以前の手法では、個々の運動に対する局所的なポーズダイナミクス(グローバルな身体の軌跡を含まずに)の学習と、社会的相互作用のための複雑な相互作用依存性の獲得に苦労している。
本稿では,個人の運動と社会的相互作用を協調的に効果的にモデル化するソーシャル・アウェア・モーショントランスフォーマー(somoformer)を提案する。
具体的には、SoMoFormerは変位軌道空間のサブシーケンスから運動特徴を抽出し、各個体の局所的およびグローバルなポーズダイナミクスを効果的に学習する。
さらに,SoMoFormerに新たなソーシャル・アウェアメント・アテンション・メカニズムを考案し,動的表現をさらに最適化し,時間と社会次元をまたいだ動作類似性計算によって相互依存を同時に捉える。
短期・長期の両面において,多人動データセットの枠組みを実証的に評価し,その手法が単人動と多人動予測の最先端手法を大きく上回っていることを示す。
コードは受理次第公開される予定だ。
関連論文リスト
- ReMoS: Reactive 3D Motion Synthesis for Two-Person Interactions [71.74348331841057]
本稿では,反応運動合成のための拡散型確率モデルReMoSを紹介する。
本稿では,ペアダンス,忍術,キックボクシング,アクロバティックスなど,多岐にわたる難解な2人シナリオ下でのReMoSの性能を示す。
この結果はインタラクティブなアプリケーションでも利用でき、アニメーターに十分な量の制御を提供する。
論文 参考訳(メタデータ) (2023-11-28T18:59:52Z) - Persistent-Transient Duality: A Multi-mechanism Approach for Modeling
Human-Object Interaction [58.67761673662716]
人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。
人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。
本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
論文 参考訳(メタデータ) (2023-07-24T12:21:33Z) - Stochastic Multi-Person 3D Motion Forecasting [21.915057426589744]
我々は、人間の動き予測に先立つ作業において、無視された現実世界の複雑さに対処する。
私たちのフレームワークは一般的なもので、異なる生成モデルでインスタンス化します。
このアプローチは多種多人数の予測を多種多様な精度で生成し,技術水準を著しく上回っている。
論文 参考訳(メタデータ) (2023-06-08T17:59:09Z) - InterGen: Diffusion-based Multi-human Motion Generation under Complex
Interactions [52.67456181120208]
動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。
我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。
本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
論文 参考訳(メタデータ) (2023-04-12T08:12:29Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳(メタデータ) (2023-03-23T09:31:56Z) - SoMoFormer: Multi-Person Pose Forecasting with Transformers [15.617263162155062]
マルチパーソン3Dポーズ予測のためのソーシャルモーショントランスフォーマー(SoMoFormer)を提案する。
我々のトランスアーキテクチャは、人間の動作入力を時系列ではなくジョイントシーケンスとして一意にモデル化する。
この問題の修正により、SoMoFormerは自然に、シーン内のすべての人の関節を入力クエリとして使用することで、マルチパーソンシーンに拡張できることを示す。
論文 参考訳(メタデータ) (2022-08-30T06:59:28Z) - Interaction Transformer for Human Reaction Generation [61.22481606720487]
本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。
我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
論文 参考訳(メタデータ) (2022-07-04T19:30:41Z) - UniCon: Universal Neural Controller For Physics-based Character Motion [70.45421551688332]
大規模動作データセットから学習することで,異なるスタイルで数千の動作を習得する物理ベースのユニバーサルニューラルコントローラ(UniCon)を提案する。
UniConは、キーボード駆動制御をサポートし、ロコモーションとアクロバティックスキルの大きなプールから引き出されたモーションシーケンスを作成し、ビデオで撮影した人を物理ベースの仮想アバターにテレポートする。
論文 参考訳(メタデータ) (2020-11-30T18:51:16Z) - Collaborative Motion Prediction via Neural Motion Message Passing [37.72454920355321]
我々は,アクター間の対話を明示的にモデル化し,アクター間の対話の表現を学習するために,ニューラルモーションメッセージパッシング(NMMP)を提案する。
提案したNMMPに基づいて,歩行者設定と共同歩行者設定と車両設定の2つの設定に対して,動作予測システムを設計する。
どちらのシステムも、既存のベンチマークで過去の最先端の手法より優れている。
論文 参考訳(メタデータ) (2020-03-14T10:12:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。