論文の概要: Human Performance Capture from Monocular Video in the Wild

• arxiv url: http://arxiv.org/abs/2111.14672v2
• Date: Tue, 30 Nov 2021 16:03:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 12:38:58.748346
• Title: Human Performance Capture from Monocular Video in the Wild
• Title（参考訳）: 野生における単眼映像からの人間のパフォーマンスキャプチャ
• Authors: Chen Guo, Xu Chen, Jie Song and Otmar Hilliges
• Abstract要約: 本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。 本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
• 参考スコア（独自算出の注目度）: 50.34917313325813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Capturing the dynamically deforming 3D shape of clothed human is essential for numerous applications, including VR/AR, autonomous driving, and human-computer interaction. Existing methods either require a highly specialized capturing setup, such as expensive multi-view imaging systems, or they lack robustness to challenging body poses. In this work, we propose a method capable of capturing the dynamic 3D human shape from a monocular video featuring challenging body poses, without any additional input. We first build a 3D template human model of the subject based on a learned regression model. We then track this template model's deformation under challenging body articulations based on 2D image observations. Our method outperforms state-of-the-art methods on an in-the-wild human video dataset 3DPW. Moreover, we demonstrate its efficacy in robustness and generalizability on videos from iPER datasets.
• Abstract（参考訳）: 動的に変形する人間の3D形状をキャプチャすることは、VR/AR、自律運転、人間とコンピュータの相互作用など、多くのアプリケーションにとって不可欠である。 既存の方法は、高価なマルチビューイメージングシステムのような、高度に特殊な撮影装置を必要とするか、または、挑戦的なボディポーズに対する堅牢性に欠ける。 そこで本研究では,身体ポーズに挑戦する単眼映像から,追加の入力をすることなく動的3次元人体形状をキャプチャする手法を提案する。 まず,学習した回帰モデルに基づいて,被験者の3次元テンプレートヒューマンモデルを構築した。 次に,このテンプレートモデルの変形を2次元画像観察に基づく挑戦的な身体調音下で追跡する。 本手法は,人工映像データセット3dpwにおける最先端手法よりも優れている。 さらに,iPERデータセットからの映像に対するロバスト性および一般化性の有効性を示す。

関連論文リスト

• MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild [32.6521941706907]
  モノクラーインザワイルドビデオから3Dで複数の人物を再構成する新しいフレームワークであるMultiPlyを提案する。 まず、シーン全体の階層化されたニューラル表現を定義し、個々の人間と背景モデルで合成する。 階層化可能なボリュームレンダリングを通じて,ビデオから階層化ニューラル表現を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:59:57Z)
• Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance [25.346255905155424]
  本稿では,潜伏拡散フレームワーク内での3次元人間のパラメトリックモデルを活用することで,人間の画像アニメーションの方法論を提案する。 人間の3次元パラメトリックモデルを動作誘導として表現することにより、基準画像と音源映像の動きの間に人体のパラメトリック形状アライメントを行うことができる。 提案手法は,提案した組込みデータセットに対して,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-03-21T18:52:58Z)
• Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition [40.46674919612935]
  Vid2Avatarは、モノクラー・イン・ザ・ワイルドビデオから人間のアバターを学習する手法である。 提案手法は,大規模な人間のスキャンデータから抽出した基礎的監督や先行データを必要としない。 シーンの人間と背景の両方を共同でモデル化することで、シーンの分解と表面の再構築を3Dで直接行う。
  論文  参考訳（メタデータ） (2023-02-22T18:59:17Z)
• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• HiFECap: Monocular High-Fidelity and Expressive Capture of Human Performances [84.7225785061814]
  HiFECapは、人間のポーズ、衣服、表情、手を1つのRGBビデオから同時にキャプチャする。 また, 衣服のしわの変形など, 従来の方法よりも高精度な高精度な撮影も行なっている。
  論文  参考訳（メタデータ） (2022-10-11T17:57:45Z)
• Self-Supervised 3D Human Pose Estimation in Static Video Via Neural Rendering [5.568218439349004]
  2D画像から3Dの人間のポーズを推定することは、コンピュータビジョンの分野における困難かつ長年の問題である。 本研究では,1人の人物を含む2次元映像から3次元ポーズを推定する手法の予備的な結果を示す。
  論文  参考訳（メタデータ） (2022-10-10T09:24:07Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)
• S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling [103.65625425020129]
  歩行者の形状、ポーズ、皮膚の重みを、データから直接学習する神経暗黙関数として表現します。 各種データセットに対するアプローチの有効性を実証し,既存の最先端手法よりも再現性が優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-17T02:16:56Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• Weakly Supervised 3D Human Pose and Shape Reconstruction with Normalizing Flows [43.89097619822221]
  実世界の画像やビデオのトレーニングと優れた一般化を支援する半教師付き自己教師型モデルを提案する。 我々の定式化は、運動論的潜在正規化フロー表現と力学、および微分可能セマンティックボディ部分アライメント損失関数に基づく。 CMU,Human3.6M,3DPW,AMASSといった3Dモーションキャプチャーデータセットを用いた大規模な実験では,提案手法が最先端の手法であることを示す。
  論文  参考訳（メタデータ） (2020-03-23T16:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。