論文の概要: Scene-aware Human Motion Forecasting via Mutual Distance Prediction

• arxiv url: http://arxiv.org/abs/2310.00615v4
• Date: Sat, 10 Aug 2024 08:46:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 00:48:29.075604
• Title: Scene-aware Human Motion Forecasting via Mutual Distance Prediction
• Title（参考訳）: 相互距離予測によるシーン認識型人間の動き予測
• Authors: Chaoyue Xing, Wei Mao, Miaomiao Liu,
• Abstract要約: 本研究では,人体とシーン間の相互距離による人間とシーンの相互作用をモデル化する。 このような相互距離は局所的な動きと大域的な動きの両方を制約し、結果として全身的な動きは予測される。 2つのステップでパイプラインを構築し、まず将来の相互距離を予測し、次に将来の人間の動きを予測する。
• 参考スコア（独自算出の注目度）: 13.067687949642641
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we tackle the problem of scene-aware 3D human motion forecasting. A key challenge of this task is to predict future human motions that are consistent with the scene by modeling the human-scene interactions. While recent works have demonstrated that explicit constraints on human-scene interactions can prevent the occurrence of ghost motion, they only provide constraints on partial human motion e.g., the global motion of the human or a few joints contacting the scene, leaving the rest of the motion unconstrained. To address this limitation, we propose to model the human-scene interaction with the mutual distance between the human body and the scene. Such mutual distances constrain both the local and global human motion, resulting in a whole-body motion constrained prediction. In particular, mutual distance constraints consist of two components, the signed distance of each vertex on the human mesh to the scene surface and the distance of basis scene points to the human mesh. We further introduce a global scene representation learned from a signed distance function (SDF) volume to ensure coherence between the global scene representation and the explicit constraint from the mutual distance. We develop a pipeline with two sequential steps: predicting the future mutual distances first, followed by forecasting future human motion. During training, we explicitly encourage consistency between predicted poses and mutual distances. Extensive evaluations on the existing synthetic and real datasets demonstrate that our approach consistently outperforms the state-of-the-art methods.
• Abstract（参考訳）: 本稿では,シーン認識型3次元動作予測の課題に対処する。 このタスクの重要な課題は、人間とシーンの相互作用をモデル化することによって、シーンと整合した将来の人間の動きを予測することである。 近年の研究では、人間とシーンの相互作用に対する明示的な制約がゴーストモーションの発生を妨げていることが示されているが、それらは部分的な人間の動き、例えば人間のグローバルな動き、あるいはシーンに接触する少数の関節にのみ制約を与え、残りの動きは拘束されないままである。 この制限に対処するため,人体とシーン間の相互距離との人間とシーンの相互作用をモデル化する。 このような相互距離は局所的な動きと大域的な動きの両方を制約し、結果として全身的な動きは予測される。 特に、相互距離制約は、人メッシュ上の各頂点からシーン表面への署名された距離と、人メッシュへのベースシーンの距離の2つの成分から構成される。 さらに、符号付き距離関数(SDF)ボリュームから学習したグローバルシーン表現を導入し、グローバルシーン表現と相互距離からの明示的制約とのコヒーレンスを確保する。 2つのステップでパイプラインを構築し、まず将来の相互距離を予測し、次に将来の人間の動きを予測する。 トレーニング中、予測されたポーズと相互距離の一貫性を明示的に促進する。 既存の合成および実データセットに対する広範囲な評価は、我々のアプローチが最先端の手法を一貫して上回っていることを示している。

関連論文リスト

• Multimodal Sense-Informed Prediction of 3D Human Motions [16.71099574742631]
  本研究は,2つのモーダル情報に対して高忠実度を生成するマルチモーダル・インフォームド・モーション・予測手法を提案する。 視線情報は人間の意図と見なされ、動きとシーンの特徴が組み合わさって、世代を監督するために第3の意図に注意を向ける。 実世界の2つのベンチマークにおいて,提案手法は3次元人間のポーズと軌道予測の両方において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-05-05T12:38:10Z)
• Staged Contact-Aware Global Human Motion Forecasting [7.930326095134298]
  バーチャルリアリティー、ロボティクス、スポーツなどの多様体応用には、シーン認識のグローバルな人間の動き予測が不可欠である。 本稿では,3次元環境下でのグローバルな人間の動きを予測するための新しい3段階パイプラインSTAGを提案する。 STAGは、シーン認識のGTA-IMデータセット上で、ポーズと軌道予測の全体的な1.8%と16.2%の改善を達成する。
  論文  参考訳（メタデータ） (2023-09-16T10:47:48Z)
• Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations [61.659439423703155]
  TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成 本手法は時間座標のみでパラメータ化される連続運動を生成する。 この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
  論文  参考訳（メタデータ） (2023-03-23T09:31:56Z)
• Contact-aware Human Motion Forecasting [87.04827994793823]
  我々は,3Dシーンと過去の人間の動作を与えられた将来の人間のポーズを予測することで,シーン認識型3Dモーション予測の課題に取り組む。 提案手法は,現在最先端のヒトの動作予測と,合成データと実データの両方においてヒトの合成手法より優れる。
  論文  参考訳（メタデータ） (2022-10-08T07:53:19Z)
• GIMO: Gaze-Informed Human Motion Prediction in Context [75.52839760700833]
  本研究では、高品質なボディポーズシーケンス、シーンスキャン、目視によるエゴ中心のビューを提供する大規模な人体動作データセットを提案する。 私たちのデータ収集は特定のシーンに縛られません。 視線の全可能性を実現するために,視線と運動枝の双方向通信を可能にする新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-04-20T13:17:39Z)
• Dyadic Human Motion Prediction [119.3376964777803]
  本稿では,2つの被験者の相互作用を明示的に推論する動き予測フレームワークを提案する。 具体的には,2つの被験者の運動履歴の相互依存をモデル化する一対の注意機構を導入する。 これにより、より現実的な方法で長期の運動力学を保ち、異常かつ高速な運動を予測することができる。
  論文  参考訳（メタデータ） (2021-12-01T10:30:40Z)
• Scene-aware Generative Network for Human Motion Synthesis [125.21079898942347]
  シーンと人間の動きの相互作用を考慮した新しい枠組みを提案する。 人間の動きの不確実性を考慮すると、このタスクを生成タスクとして定式化する。 我々は、人間の動きと文脈シーンとの整合性を強制するための識別器を備えた、GANに基づく学習アプローチを導出する。
  論文  参考訳（メタデータ） (2021-05-31T09:05:50Z)
• Long-term Human Motion Prediction with Scene Context [60.096118270451974]
  人間の動きを予測するための新しい3段階フレームワークを提案する。 提案手法はまず,まず複数の人間の動作目標を抽出し,各目標に向けて3次元人間の動作経路を計画し,最後に各経路に続く3次元人間のポーズシーケンスを予測する。
  論文  参考訳（メタデータ） (2020-07-07T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。