論文の概要: Multi-Person Extreme Motion Prediction with Cross-Interaction Attention

• arxiv url: http://arxiv.org/abs/2105.08825v1
• Date: Tue, 18 May 2021 20:52:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-20 13:49:57.922601
• Title: Multi-Person Extreme Motion Prediction with Cross-Interaction Attention
• Title（参考訳）: クロスアクションアテンションを用いたマルチパーソン極端運動予測
• Authors: Wen Guo, Xiaoyu Bie, Xavier Alameda-Pineda, Francesc Moreno
• Abstract要約: 人間の動き予測は、過去の3D骨格の連続から将来の人間のポーズを予測することを目的としている。 本システムの入力は, 相互作用する2人の人物に対する過去の骨格の2つのシーケンスであると仮定する。 我々は,自己のポーズと他者のポーズの相互依存を予測できる,新たなインタラクションアテンション機構を考案した。
• 参考スコア（独自算出の注目度）: 20.949356290764264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human motion prediction aims to forecast future human poses given a sequence of past 3D skeletons. While this problem has recently received increasing attention, it has mostly been tackled for single humans in isolation. In this paper we explore this problem from a novel perspective, involving humans performing collaborative tasks. We assume that the input of our system are two sequences of past skeletons for two interacting persons, and we aim to predict the future motion for each of them. For this purpose, we devise a novel cross interaction attention mechanism that exploits historical information of both persons and learns to predict cross dependencies between self poses and the poses of the other person in spite of their spatial or temporal distance. Since no dataset to train such interactive situations is available, we have captured ExPI (Extreme Pose Interaction), a new lab-based person interaction dataset of professional dancers performing acrobatics. ExPI contains 115 sequences with 30k frames and 60k instances with annotated 3D body poses and shapes. We thoroughly evaluate our cross-interaction network on this dataset and show that both in short-term and long-term predictions, it consistently outperforms baselines that independently reason for each person. We plan to release our code jointly with the dataset and the train/test splits to spur future research on the topic.
• Abstract（参考訳）: 人間の動き予測は、過去の3D骨格の連続から将来の人間のポーズを予測することを目的としている。 この問題は近年注目されているが、ほとんどの場合単独の人間に対処されている。 本稿では,人間による協調作業を含む新しい視点から,この問題を考察する。 本システムでは,2人の対話者を対象とした2つの過去の骨格列を入力とし,それぞれの動作を予測することを目的とする。 本研究では,両者の歴史的情報を活用し,その空間的・時間的距離に拘わらず,自己ポーズと他者のポーズ間の相互依存を予測できる新たな相互行為注意機構を考案する。 このような対話的な状況をトレーニングするデータセットが存在しないため、アクロバティックを行うプロのダンサーによる新しいラボベースの個人インタラクションデータセットであるExPI(Extreme Pose Interaction)をキャプチャした。 ExPIには、30kフレームと60kインスタンスの115のシーケンスと、アノテーション付きの3Dボディポーズと形状が含まれている。 このデータセット上でのクロスインタラクションネットワークを徹底的に評価し、短期予測と長期予測の両方において、各人が独立的に推論するベースラインを一貫して上回っています。 私たちは、データセットとトレイン/テストの分割を共同でリリースして、このトピックに関する将来の研究を促進する予定です。

関連論文リスト

• Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
  既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。 本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。 本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:55:45Z)
• Social-Transmotion: Promptable Human Trajectory Prediction [65.80068316170613]
  Social-Transmotionは、多種多様な視覚的手がかりを利用して人間の行動を予測する、汎用トランスフォーマーベースのモデルである。 提案手法は,JTA,JRDB,歩行者,道路交通のサイクリスト,ETH-UCYなど,複数のデータセットで検証されている。
  論文  参考訳（メタデータ） (2023-12-26T18:56:49Z)
• The MI-Motion Dataset and Benchmark for 3D Multi-Person Motion Prediction [13.177817435234449]
  3D多対人動作予測は、個人行動や人との相互作用をモデル化する難しいタスクである。 本稿では,モーションキャプチャシステムによって収集された複数の個体の骨格配列を含むMI-Motionデータセットを提案する。 データセットには、人々のスケルトンポーズを対話する167kフレームが含まれており、5つの異なるアクティビティシーンに分類される。
  論文  参考訳（メタデータ） (2023-06-23T15:38:22Z)
• Multi-Graph Convolution Network for Pose Forecasting [0.8057006406834467]
  本稿では,3次元ポーズ予測のための多グラフ畳み込みネットワーク(MGCN)を提案する。 MGCNは、ポーズシーケンスのための拡張グラフを導入することで、空間情報と時間情報を同時にキャプチャする。 評価では,MGCNはポーズ予測において最先端の予測よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-11T03:59:43Z)
• Multi-level Motion Attention for Human Motion Prediction [132.29963836262394]
  本研究は, 関節, 身体部分, フルポーズレベルなど, 異なる種類の注意力の使用について検討した。 我々は,Human3.6M,AMASS,3DPWを用いて,周期的および非周期的両方の行動に対するアプローチの利点を検証した。
  論文  参考訳（メタデータ） (2021-06-17T08:08:11Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• History Repeats Itself: Human Motion Prediction via Motion Attention [81.94175022575966]
  注意に基づくフィードフォワードネットワークを導入し、人間の動きが自分自身を繰り返す傾向にあるという観察を明示的に活用する。 特に,現在動きのコンテキストと過去の動きのサブシーケンスの類似性を捉えるために,動きの注意を抽出することを提案する。 我々は,Human3.6M,AMASS,3DPWを用いて,周期的および非周期的両方の行動に対するアプローチの利点を実証した。
  論文  参考訳（メタデータ） (2020-07-23T02:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。