論文の概要: Decaf: Monocular Deformation Capture for Face and Hand Interactions

• arxiv url: http://arxiv.org/abs/2309.16670v2
• Date: Fri, 13 Oct 2023 15:45:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 01:15:16.409915
• Title: Decaf: Monocular Deformation Capture for Face and Hand Interactions
• Title（参考訳）: decaf: 顔と手との相互作用のための単眼変形キャプチャ
• Authors: Soshi Shimada, Vladislav Golyanik, Patrick P\'erez, Christian Theobalt
• Abstract要約: 本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
• 参考スコア（独自算出の注目度）: 77.75726740605748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing methods for 3D tracking from monocular RGB videos predominantly consider articulated and rigid objects. Modelling dense non-rigid object deformations in this setting remained largely unaddressed so far, although such effects can improve the realism of the downstream applications such as AR/VR and avatar communications. This is due to the severe ill-posedness of the monocular view setting and the associated challenges. While it is possible to naively track multiple non-rigid objects independently using 3D templates or parametric 3D models, such an approach would suffer from multiple artefacts in the resulting 3D estimates such as depth ambiguity, unnatural intra-object collisions and missing or implausible deformations. Hence, this paper introduces the first method that addresses the fundamental challenges depicted above and that allows tracking human hands interacting with human faces in 3D from single monocular RGB videos. We model hands as articulated objects inducing non-rigid face deformations during an active interaction. Our method relies on a new hand-face motion and interaction capture dataset with realistic face deformations acquired with a markerless multi-view camera system. As a pivotal step in its creation, we process the reconstructed raw 3D shapes with position-based dynamics and an approach for non-uniform stiffness estimation of the head tissues, which results in plausible annotations of the surface deformations, hand-face contact regions and head-hand positions. At the core of our neural approach are a variational auto-encoder supplying the hand-face depth prior and modules that guide the 3D tracking by estimating the contacts and the deformations. Our final 3D hand and face reconstructions are realistic and more plausible compared to several baselines applicable in our setting, both quantitatively and qualitatively. https://vcai.mpi-inf.mpg.de/projects/Decaf
• Abstract（参考訳）: モノキュラーrgbビデオからの3dトラッキングの既存の方法は、関節と剛体オブジェクトを主に考慮している。 この設定で密集した非剛体物体の変形をモデル化することは、これまでほとんど適応していなかったが、そのような効果は、AR/VRやアバター通信のような下流の応用の現実性を改善することができる。 これは、単眼視の設定と関連する課題の深刻さによるものである。 3Dテンプレートやパラメトリック3Dモデルを用いて、複数の非剛体物体を独立に追跡することは可能であるが、このようなアプローチは、深さのあいまいさ、不自然な物体内衝突、欠落または不明瞭な変形といった結果の3D推定において、複数のアーチファクトに悩まされる。 そこで本研究では、上記の課題に対処し、単一の単眼RGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を初めて紹介する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した顔変形を実感した,新しいハンドフェイスモーション・インタラクションキャプチャデータセットに依存している。 創成における重要なステップとして,再構成した生の3次元形状を位置ベースダイナミクスを用いて処理し,頭部組織の非一様剛性評価へのアプローチを行い,表面変形,面接触領域,頭部位置の可算な注釈を導出する。 私たちの神経アプローチの核心は、顔の深度を事前に供給する変分自動エンコーダと、接触と変形を推定して3Dトラッキングを導くモジュールです。 最後の3D手と顔の再構築は、定量的にも質的にも、我々の設定に適用できるいくつかのベースラインと比較して、現実的でより妥当です。 https://vcai.mpi-inf.mpg.de/projects/Decaf

関連論文リスト

• DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
  DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。 ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。 標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-26T00:08:29Z)
• SHOWMe: Benchmarking Object-agnostic Hand-Object 3D Reconstruction [13.417086460511696]
  96本の動画からなるSHOWMeデータセットについて,実物と詳細な3Dテクスチャメッシュで注釈付けした。 我々は、手の動きがビデオシーケンス全体を通して一定である厳密な手オブジェクトのシナリオを考察する。 この仮定により、SHOWMeの画像シーケンスにサブミリメートル精度の基底3Dスキャンを登録できる。
  論文  参考訳（メタデータ） (2023-09-19T16:48:29Z)
• Implicit Neural Head Synthesis via Controllable Local Deformation Fields [12.191729556779972]
  我々は,大域的変形場を局所的に分解する部分的暗黙的形状モデルを構築した。 我々の新しい定式化は、3DMMに基づくパラメータによる局所的な意味的リグ様制御を伴う複数の暗黙的変形場をモデル化する。 我々の定式化は、従来の暗黙単分子アプローチよりも、局所的に制御可能な非線形変形をよりシャープに表現する。
  論文  参考訳（メタデータ） (2023-04-21T16:35:28Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• Neural Capture of Animatable 3D Human from Monocular Video [38.974181971541846]
  本稿では,モノクラービデオ入力からアニマタブルな3次元人間の表現を構築するための新しいパラダイムを提案する。 本手法は,メッシュをベースとしたパラメトリックな3次元人体モデルを用いた動的ニューラルレージアンス場(NeRF)に基づく。
  論文  参考訳（メタデータ） (2022-08-18T09:20:48Z)
• MoCapDeform: Monocular 3D Human Motion Capture in Deformable Scenes [133.3300573151597]
  MoCapDeformは、モノラルな3Dモーションキャプチャのための新しいフレームワークだ。 これは、3Dシーンの非剛体変形を明示的にモデル化した最初のものである。 複数のデータセット上で競合する手法よりも精度が高い。
  論文  参考訳（メタデータ） (2022-08-17T17:59:54Z)
• HULC: 3D Human Motion Capture with Pose Manifold Sampling and Dense Contact Guidance [82.09463058198546]
  シーンインタラクションを備えたマーカーレスモノクロ3Dモーションキャプチャ(MoCap)は、拡張現実、ロボティクス、仮想アバター生成に関連する挑戦的な研究課題である。 シーン形状を認識した3DヒューマンMoCapの新しいアプローチであるHULCを提案する。
  論文  参考訳（メタデータ） (2022-05-11T17:59:31Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。