論文の概要: MoCapDeform: Monocular 3D Human Motion Capture in Deformable Scenes

• arxiv url: http://arxiv.org/abs/2208.08439v1
• Date: Wed, 17 Aug 2022 17:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-18 13:11:09.414050
• Title: MoCapDeform: Monocular 3D Human Motion Capture in Deformable Scenes
• Title（参考訳）: MoCapDeform:変形可能なシーンにおける単眼の3Dモーションキャプチャ
• Authors: Zhi Li and Soshi Shimada and Bernt Schiele and Christian Theobalt and Vladislav Golyanik
• Abstract要約: MoCapDeformは、モノラルな3Dモーションキャプチャのための新しいフレームワークだ。 これは、3Dシーンの非剛体変形を明示的にモデル化した最初のものである。 複数のデータセット上で競合する手法よりも精度が高い。
• 参考スコア（独自算出の注目度）: 133.3300573151597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D human motion capture from monocular RGB images respecting interactions of a subject with complex and possibly deformable environments is a very challenging, ill-posed and under-explored problem. Existing methods address it only weakly and do not model possible surface deformations often occurring when humans interact with scene surfaces. In contrast, this paper proposes MoCapDeform, i.e., a new framework for monocular 3D human motion capture that is the first to explicitly model non-rigid deformations of a 3D scene for improved 3D human pose estimation and deformable environment reconstruction. MoCapDeform accepts a monocular RGB video and a 3D scene mesh aligned in the camera space. It first localises a subject in the input monocular video along with dense contact labels using a new raycasting based strategy. Next, our human-environment interaction constraints are leveraged to jointly optimise global 3D human poses and non-rigid surface deformations. MoCapDeform achieves superior accuracy than competing methods on several datasets, including our newly recorded one with deforming background scenes.
• Abstract（参考訳）: 複雑な、おそらく変形可能な環境との相互作用を尊重する単眼のrgb画像からの3dモーションキャプチャは、非常に困難で、不適切で、未解決な問題である。 既存の方法では弱くしか対処できず、人間がシーン表面と相互作用する際に発生する表面の変形をモデル化しない。 そこで本稿では,3次元シーンの非剛性変形を明示的にモデル化し,3次元ポーズ推定と変形可能な環境復元を行うための新しい枠組みであるmocapdeformを提案する。 MoCapDeformはモノクロのRGBビデオとカメラ空間に並んだ3Dシーンメッシュを受け入れる。 まず、新しいレイキャストベースの戦略を用いて、入力単眼ビデオ中の被写体を濃密な接触ラベルとともにローカライズする。 次に、人間の環境相互作用の制約を利用して、グローバルな3次元人間のポーズと非剛体表面の変形を協調的に最適化する。 MoCapDeformは、いくつかのデータセットで競合するメソッドよりも優れた精度を実現しています。

関連論文リスト

• Animal Avatars: Reconstructing Animatable 3D Animals from Casual Videos [26.65191922949358]
  モノクロビデオからアニマタブルな犬用アバターを構築する方法を提案する。 動物は様々な(予測不可能な)非剛体運動を示し、外観の詳細を持っているため、これは難しい。 我々は,動物のポーズの変化と外観を共同で解決する4Dソリューションを用いて,映像フレームをリンクする手法を開発した。
  論文  参考訳（メタデータ） (2024-03-25T18:41:43Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition [40.46674919612935]
  Vid2Avatarは、モノクラー・イン・ザ・ワイルドビデオから人間のアバターを学習する手法である。 提案手法は,大規模な人間のスキャンデータから抽出した基礎的監督や先行データを必要としない。 シーンの人間と背景の両方を共同でモデル化することで、シーンの分解と表面の再構築を3Dで直接行う。
  論文  参考訳（メタデータ） (2023-02-22T18:59:17Z)
• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• HULC: 3D Human Motion Capture with Pose Manifold Sampling and Dense Contact Guidance [82.09463058198546]
  シーンインタラクションを備えたマーカーレスモノクロ3Dモーションキャプチャ(MoCap)は、拡張現実、ロボティクス、仮想アバター生成に関連する挑戦的な研究課題である。 シーン形状を認識した3DヒューマンMoCapの新しいアプローチであるHULCを提案する。
  論文  参考訳（メタデータ） (2022-05-11T17:59:31Z)
• Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
  本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。 本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-11-29T16:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。