論文の概要: We are More than Our Joints: Predicting how 3D Bodies Move

• arxiv url: http://arxiv.org/abs/2012.00619v2
• Date: Fri, 2 Apr 2021 13:04:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-30 19:46:39.627312
• Title: We are More than Our Joints: Predicting how 3D Bodies Move
• Title（参考訳）: 私たちはジョイント以上の存在です 3dの身体の動きを予測して
• Authors: Yan Zhang and Michael J. Black and Siyu Tang
• Abstract要約: 我々は、潜時周波数から動きを生成する新しい変分オートエンコーダを訓練する。 実験の結果,本手法は最先端の3Dボディアニメーションとリアルな3Dボディアニメーションを生成することがわかった。
• 参考スコア（独自算出の注目度）: 63.34072043909123
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A key step towards understanding human behavior is the prediction of 3D human motion. Successful solutions have many applications in human tracking, HCI, and graphics. Most previous work focuses on predicting a time series of future 3D joint locations given a sequence 3D joints from the past. This Euclidean formulation generally works better than predicting pose in terms of joint rotations. Body joint locations, however, do not fully constrain 3D human pose, leaving degrees of freedom undefined, making it hard to animate a realistic human from only the joints. Note that the 3D joints can be viewed as a sparse point cloud. Thus the problem of human motion prediction can be seen as point cloud prediction. With this observation, we instead predict a sparse set of locations on the body surface that correspond to motion capture markers. Given such markers, we fit a parametric body model to recover the 3D shape and pose of the person. These sparse surface markers also carry detailed information about human movement that is not present in the joints, increasing the naturalness of the predicted motions. Using the AMASS dataset, we train MOJO, which is a novel variational autoencoder that generates motions from latent frequencies. MOJO preserves the full temporal resolution of the input motion, and sampling from the latent frequencies explicitly introduces high-frequency components into the generated motion. We note that motion prediction methods accumulate errors over time, resulting in joints or markers that diverge from true human bodies. To address this, we fit SMPL-X to the predictions at each time step, projecting the solution back onto the space of valid bodies. These valid markers are then propagated in time. Experiments show that our method produces state-of-the-art results and realistic 3D body animations. The code for research purposes is at https://yz-cnsdqz.github.io/MOJO/MOJO.html
• Abstract（参考訳）: 人間の行動を理解するための重要なステップは、人間の3D動作の予測である。 成功したソリューションは、ヒューマントラッキング、HCI、グラフィックに多くの応用がある。 これまでの研究のほとんどは、過去からのシーケンス3dジョイントを与えられた将来の3dジョイントの位置の時系列を予測することに重点を置いている。 このユークリッド公式は一般に、ジョイント回転の観点でポーズを予測するよりもうまく機能する。 しかし、身体の関節位置は人間の3Dポーズを完全に制約せず、自由度は未定義のままであり、関節だけから現実的な人間をアニメーションすることは困難である。 3Dジョイントはスパース点雲と見ることができることに注意。 したがって、人間の動き予測の問題は点雲予測とみなすことができる。 この観察により, 物体表面における運動捕捉マーカーに対応する位置のばらばらな集合を予測した。 このようなマーカーが与えられた場合、パラメトリックボディモデルを用いて人の3次元形状とポーズを復元する。 これらのまばらな表面マーカーは、関節に存在しない人間の動きに関する詳細な情報も含み、予測される動きの自然性を高める。 AMASSデータセットを用いて、潜時周波数から動きを生成する新しい変分オートエンコーダであるMOJOを訓練する。 MOJOは入力動作の完全な時間分解能を保持し、潜在周波数からのサンプリングは生成した動きに高周波成分を明示的に導入する。 動作予測手法は時間とともに誤差を蓄積し、結果として関節やマーカーが本物の人体から分岐する。 この問題に対処するため、SMPL-X を各時点の予測に適合させ、解を有効体の空間に投影する。 これらの有効なマーカーは時間内に伝播する。 実験により,最新の3次元ボディアニメーションが得られた。 研究目的のコードはhttps://yz-cnsdqz.github.io/MOJO/MOJO.htmlにある。

関連論文リスト

• Social-Transmotion: Promptable Human Trajectory Prediction [65.80068316170613]
  Social-Transmotionは、多種多様な視覚的手がかりを利用して人間の行動を予測する、汎用トランスフォーマーベースのモデルである。 提案手法は,JTA,JRDB,歩行者,道路交通のサイクリスト,ETH-UCYなど,複数のデータセットで検証されている。
  論文  参考訳（メタデータ） (2023-12-26T18:56:49Z)
• WHAM: Reconstructing World-grounded Humans with Accurate 3D Motion [43.95997922499137]
  WHAM(World-grounded Humans with Accurate Motion)は、ビデオから世界座標系で3次元の人間の動きを再構成する。 SLAM法から推定されるカメラ角速度と人間の動きを用いて、身体のグローバルな軌跡を推定する。 複数のWildベンチマークで、既存の3Dモーションリカバリ手法よりも優れています。
  論文  参考訳（メタデータ） (2023-12-12T18:57:46Z)
• FutureHuman3D: Forecasting Complex Long-Term 3D Human Behavior from Video Observations [26.693664045454526]
  本稿では,3次元における長期的人間の行動を予測するための生成的アプローチを提案する。 我々は高レベルの粗いアクションラベルと低レベルの微粒化を特徴的3次元人間のポーズとして共同で予測する。 実験では,関節動作と3次元ポーズ予測の相補的性質を実証した。
  論文  参考訳（メタデータ） (2022-11-25T18:59:53Z)
• DMMGAN: Diverse Multi Motion Prediction of 3D Human Joints using Attention-Based Generative Adverserial Network [9.247294820004143]
  本稿では,多種多様な人間の動きを予測するためのトランスフォーマーに基づく生成モデルを提案する。 本モデルでは、まず、股関節に対する身体の姿勢を予測し、次に、textitHip予測モジュールが、予測された各ポーズフレームに対する股関節運動の軌跡を予測する。 本研究では,ヒトの動作予測において,股関節運動を伴う多動将来の軌跡を予測しながら,最先端の動作予測に優れることを示す。
  論文  参考訳（メタデータ） (2022-09-13T23:22:33Z)
• Live Stream Temporally Embedded 3D Human Body Pose and Shape Estimation [13.40702053084305]
  ライブストリーム映像の精度と時間的整合性を改善するために,時間的に埋め込まれた3次元人体ポーズと形状推定法(TePose)を提案する。 マルチスケールの畳み込みネットワークを,3次元ラベリングを伴わないデータセットを用いた対人訓練のための運動判別器として提示する。
  論文  参考訳（メタデータ） (2022-07-25T21:21:59Z)
• 3D Skeleton-based Human Motion Prediction with Manifold-Aware GAN [3.1313293632309827]
  本研究では,3次元骨格を用いた人体動作予測の新しい手法を提案する。 我々は,人間の運動の時間的および空間的依存を捉える,多様体を意識したワッサーシュタイン生成逆数モデルを構築した。 CMU MoCapとHuman 3.6Mデータセットで実験が行われた。
  論文  参考訳（メタデータ） (2022-03-01T20:49:13Z)
• Learning Motion Priors for 4D Human Body Capture in 3D Scenes [81.54377747405812]
  LEMO: LEMO: LEARING Human Motion priors for 4D human body capture。 提案手法では, 連続して復元されたポーズによって現れるジッタを減少させる新規な動きを事前に導入する。 また, 接触摩擦項と, 物体ごとの自己監督訓練により得られる接触認識運動充填剤を設計した。 パイプラインでは、高品質な4D人体撮影、スムーズな動きの再構築、身体とシーンの相互作用を実演しています。
  論文  参考訳（メタデータ） (2021-08-23T20:47:09Z)
• Perpetual Motion: Generating Unbounded Human Motion [61.40259979876424]
  我々は、長期的な予測、つまり、人間の動きの長いシーケンスを生成することに焦点を当てる。 本研究では,非決定論的,テキストに変化する,永続的な人間の動きを生成するモデルを提案する。 我々は、これをホワイトノイズガウス過程のKL分岐の重み付き関数を用いて訓練し、潜時シーケンスの時間依存性を許容する。
  論文  参考訳（メタデータ） (2020-07-27T21:50:36Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)
• Anatomy-aware 3D Human Pose Estimation with Bone-based Pose Decomposition [92.99291528676021]
  3次元関節位置を直接回帰するのではなく,骨方向予測と骨長予測に分解する。 私たちのモチベーションは、人間の骨格の骨の長さが時間とともに一定であることにあります。 我々の完全なモデルは、Human3.6MとMPI-INF-3DHPデータセットにおいて、以前の最高の結果よりも優れています。
  論文  参考訳（メタデータ） (2020-02-24T15:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。