論文の概要: Learning Local Recurrent Models for Human Mesh Recovery
- arxiv url: http://arxiv.org/abs/2107.12847v1
- Date: Tue, 27 Jul 2021 14:30:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-28 14:49:05.882860
- Title: Learning Local Recurrent Models for Human Mesh Recovery
- Title（参考訳）: メッシュ回復のための局所的リカレントモデル学習
- Authors: Runze Li and Srikrishna Karanam and Ren Li and Terrence Chen and Bir
Bhanu and Ziyan Wu
- Abstract要約: 本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。
次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。
これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
- 参考スコア（独自算出の注目度）: 50.85467243778406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of estimating frame-level full human body meshes
given a video of a person with natural motion dynamics. While much progress in
this field has been in single image-based mesh estimation, there has been a
recent uptick in efforts to infer mesh dynamics from video given its role in
alleviating issues such as depth ambiguity and occlusions. However, a key
limitation of existing work is the assumption that all the observed motion
dynamics can be modeled using one dynamical/recurrent model. While this may
work well in cases with relatively simplistic dynamics, inference with
in-the-wild videos presents many challenges. In particular, it is typically the
case that different body parts of a person undergo different dynamics in the
video, e.g., legs may move in a way that may be dynamically different from
hands (e.g., a person dancing). To address these issues, we present a new
method for video mesh recovery that divides the human mesh into several local
parts following the standard skeletal model. We then model the dynamics of each
local part with separate recurrent models, with each model conditioned
appropriately based on the known kinematic structure of the human body. This
results in a structure-informed local recurrent learning architecture that can
be trained in an end-to-end fashion with available annotations. We conduct a
variety of experiments on standard video mesh recovery benchmark datasets such
as Human3.6M, MPI-INF-3DHP, and 3DPW, demonstrating the efficacy of our design
of modeling local dynamics as well as establishing state-of-the-art results
based on standard evaluation metrics.
- Abstract（参考訳）: 本研究は, 自然運動動態を有する人物の映像からフレームレベルフル人体メッシュを推定する問題を考える。
この分野における多くの進歩は、単一の画像に基づくメッシュ推定において行われているが、深度あいまいさやオクルージョンのような問題を緩和する上で、ビデオからメッシュダイナミクスを推測する努力が最近上昇している。
しかし、既存の作業の重要な制限は、観測された全ての動きダイナミクスが1つの動的/再帰モデルを使ってモデル化できるという仮定である。
これは比較的単純化されたダイナミックなケースではうまく機能するかもしれないが、Wildのビデオによる推論には多くの課題がある。
特に、人の異なる身体部位がビデオの中で異なるダイナミックス(例えば、脚は手と動的に異なる動きをする(例えば、踊り)。
そこで本研究では,ヒトのメッシュを骨格モデルに従って複数の局所部分に分割するビデオメッシュリカバリ手法を提案する。
次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。
これにより、構造的インフォームドな局所的反復学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
我々は,Human3.6M,MPI-INF-3DHP,3DPWなどの標準ビデオメッシュ回復ベンチマークデータセット上で,局所力学モデリングの設計の有効性を示すとともに,標準評価基準に基づく最先端結果の確立を図った。
関連論文リスト
- Trajectory Optimization for Physics-Based Reconstruction of 3d Human
Pose from Monocular Video [31.96672354594643]
本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。
物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。
提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
論文 参考訳（メタデータ） (2022-05-24T18:02:49Z) - Differentiable Dynamics for Articulated 3d Human Motion Reconstruction [29.683633237503116]
DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。
モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
論文 参考訳（メタデータ） (2022-05-24T17:58:37Z) - Neural Rendering of Humans in Novel View and Pose from Monocular Video [68.37767099240236]
本稿では,新しい視点下で写真リアルな人間を生成し,モノクロ映像を入力として提示する新しい手法を提案する。
提案手法は,モノクラー映像を入力として,見知らぬポーズや新しい視点下での既存手法よりも優れていた。
論文 参考訳（メタデータ） (2022-04-04T03:09:20Z) - Learning Motion-Dependent Appearance for High-Fidelity Rendering of
Dynamic Humans from a Single Camera [49.357174195542854]
外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。
本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
論文 参考訳（メタデータ） (2022-03-24T00:22:03Z) - LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human
Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。
完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。
我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文 参考訳（メタデータ） (2021-11-30T04:10:57Z) - Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。
本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
論文 参考訳（メタデータ） (2021-11-29T16:32:41Z) - Dynamics-Regulated Kinematic Policy for Egocentric Pose Estimation [23.603254270514224]
本研究では,動力学的モデリング,動的モデリング,シーンオブジェクト情報を密に統合したオブジェクト認識型3Dエゴセントリックポーズ推定手法を提案する。
ウェアラブルカメラ1台を用いて、物理的に証明可能な3Dオブジェクトインタラクションを推定する能力を初めて実証した。
論文 参考訳（メタデータ） (2021-06-10T17:59:50Z) - MoCo-Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary
Monocular Cameras [98.40768911788854]
4次元連続時間変動関数を用いて動的シーンをモデル化する表現であるMoCo-Flowを紹介する。
私たちの研究の中心には、運動フロー上の運動コンセンサス正規化によって制約される、新しい最適化の定式化がある。
複雑度の異なる人間の動きを含む複数のデータセット上でMoCo-Flowを広範囲に評価した。
論文 参考訳（メタデータ） (2021-06-08T16:03:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。