論文の概要: HULC: 3D Human Motion Capture with Pose Manifold Sampling and Dense Contact Guidance

• arxiv url: http://arxiv.org/abs/2205.05677v1
• Date: Wed, 11 May 2022 17:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 21:37:47.842711
• Title: HULC: 3D Human Motion Capture with Pose Manifold Sampling and Dense Contact Guidance
• Title（参考訳）: HULC:Pose Manifold SmplingとDense Contact Guidanceを用いた3次元モーションキャプチャ
• Authors: Soshi Shimada, Vladislav Golyanik, Patrick P\'erez, Weipeng Xu, Christian Theobalt
• Abstract要約: シーンインタラクションを備えたマーカーレスモノクロ3Dモーションキャプチャ(MoCap)は、拡張現実、ロボティクス、仮想アバター生成に関連する挑戦的な研究課題である。 シーン形状を認識した3DヒューマンMoCapの新しいアプローチであるHULCを提案する。
• 参考スコア（独自算出の注目度）: 82.09463058198546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Marker-less monocular 3D human motion capture (MoCap) with scene interactions is a challenging research topic relevant for extended reality, robotics and virtual avatar generation. Due to the inherent depth ambiguity of monocular settings, 3D motions captured with existing methods often contain severe artefacts such as incorrect body-scene inter-penetrations, jitter and body floating. To tackle these issues, we propose HULC, a new approach for 3D human MoCap which is aware of the scene geometry. HULC estimates 3D poses and dense body-environment surface contacts for improved 3D localisations, as well as the absolute scale of the subject. Furthermore, we introduce a 3D pose trajectory optimisation based on a novel pose manifold sampling that resolves erroneous body-environment inter-penetrations. Although the proposed method requires less structured inputs compared to existing scene-aware monocular MoCap algorithms, it produces more physically-plausible poses: HULC significantly and consistently outperforms the existing approaches in various experiments and on different metrics.
• Abstract（参考訳）: マーカーレスモノキュラー3dモーションキャプチャ(mocap)とシーンインタラクションは、拡張現実、ロボティクス、仮想アバター生成に関連する困難な研究テーマである。 単眼の奥行きの曖昧さのため、既存の手法で捉えた3d運動は、しばしば不正確な身体-感覚間の貫通、ジッター、体浮きといった深刻なアーティファクトを含む。 これらの問題に対処するために,シーン形状を認識した3次元ヒューマン・モキャップの新しいアプローチであるHULCを提案する。 HULCは3Dのポーズと体表面の密接な接触を推定し、3Dの局所化を改善した。 さらに, 誤った身体環境間ネットワークを解消する新しいポーズ多様体サンプリングに基づく3次元ポーズ軌道最適化を提案する。 提案手法は, 既存のシーン認識型モカプアルゴリズムに比べ, 構造的入力は少ないが, 物理的に表現可能なポーズを生成する: hulcは, 様々な実験や測定値において, 既存のアプローチを大幅に上回っている。

関連論文リスト

• Guess The Unseen: Dynamic 3D Scene Reconstruction from Partial 2D Glimpses [9.529416246409355]
  本研究では,モノクロ映像から世界と複数の動的人間を3次元に再構成する手法を提案する。 キーとなるアイデアとして、最近出現した3Dガウススプラッティング(3D-GS)表現を通じて、世界と複数の人間の両方を表現します。
  論文  参考訳（メタデータ） (2024-04-22T17:59:50Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• MoCapDeform: Monocular 3D Human Motion Capture in Deformable Scenes [133.3300573151597]
  MoCapDeformは、モノラルな3Dモーションキャプチャのための新しいフレームワークだ。 これは、3Dシーンの非剛体変形を明示的にモデル化した最初のものである。 複数のデータセット上で競合する手法よりも精度が高い。
  論文  参考訳（メタデータ） (2022-08-17T17:59:54Z)
• Learning Motion Priors for 4D Human Body Capture in 3D Scenes [81.54377747405812]
  LEMO: LEMO: LEARING Human Motion priors for 4D human body capture。 提案手法では, 連続して復元されたポーズによって現れるジッタを減少させる新規な動きを事前に導入する。 また, 接触摩擦項と, 物体ごとの自己監督訓練により得られる接触認識運動充填剤を設計した。 パイプラインでは、高品質な4D人体撮影、スムーズな動きの再構築、身体とシーンの相互作用を実演しています。
  論文  参考訳（メタデータ） (2021-08-23T20:47:09Z)
• Exploring Severe Occlusion: Multi-Person 3D Pose Estimation with Gated Convolution [34.301501457959056]
  本稿では,2次元関節を3次元に変換するために,ゲート型畳み込みモジュールを用いた時間回帰ネットワークを提案する。 また, 正規化ポーズを大域軌跡に変換するために, 単純かつ効果的な局所化手法も実施した。 提案手法は,最先端の2D-to-3Dポーズ推定法よりも優れている。
  論文  参考訳（メタデータ） (2020-10-31T04:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。