論文の概要: PhysCap: Physically Plausible Monocular 3D Motion Capture in Real Time

• arxiv url: http://arxiv.org/abs/2008.08880v2
• Date: Wed, 9 Dec 2020 14:18:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 03:58:15.372196
• Title: PhysCap: Physically Plausible Monocular 3D Motion Capture in Real Time
• Title（参考訳）: PhysCap:物理的にプラズブルなモノクロ3Dモーションキャプチャ
• Authors: Soshi Shimada, Vladislav Golyanik, Weipeng Xu, Christian Theobalt
• Abstract要約: シングルカラーカメラからのマーカレス3Dモーションキャプチャは、大きな進歩を遂げた。 しかし、これは非常に困難な問題であり、深刻な問題である。 我々はPhysCapについて紹介する。PhysCapは物理的に可塑性でリアルタイムでマーカーのない人間の3Dモーションキャプチャのための最初のアルゴリズムである。
• 参考スコア（独自算出の注目度）: 89.68248627276955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Marker-less 3D human motion capture from a single colour camera has seen significant progress. However, it is a very challenging and severely ill-posed problem. In consequence, even the most accurate state-of-the-art approaches have significant limitations. Purely kinematic formulations on the basis of individual joints or skeletons, and the frequent frame-wise reconstruction in state-of-the-art methods greatly limit 3D accuracy and temporal stability compared to multi-view or marker-based motion capture. Further, captured 3D poses are often physically incorrect and biomechanically implausible, or exhibit implausible environment interactions (floor penetration, foot skating, unnatural body leaning and strong shifting in depth), which is problematic for any use case in computer graphics. We, therefore, present PhysCap, the first algorithm for physically plausible, real-time and marker-less human 3D motion capture with a single colour camera at 25 fps. Our algorithm first captures 3D human poses purely kinematically. To this end, a CNN infers 2D and 3D joint positions, and subsequently, an inverse kinematics step finds space-time coherent joint angles and global 3D pose. Next, these kinematic reconstructions are used as constraints in a real-time physics-based pose optimiser that accounts for environment constraints (e.g., collision handling and floor placement), gravity, and biophysical plausibility of human postures. Our approach employs a combination of ground reaction force and residual force for plausible root control, and uses a trained neural network to detect foot contact events in images. Our method captures physically plausible and temporally stable global 3D human motion, without physically implausible postures, floor penetrations or foot skating, from video in real time and in general scenes. The video is available at http://gvv.mpi-inf.mpg.de/projects/PhysCap
• Abstract（参考訳）: シングルカラーカメラからのマーカレス3Dモーションキャプチャは大きな進歩を遂げた。 しかし、これは非常に困難で深刻な問題である。 その結果、最も正確な最先端のアプローチでさえ、大きな制限がある。 個々の関節や骨格に基づいて純粋にキネマティックな定式化と、最先端の方法でのフレームワイズ再構成は、マルチビューやマーカーベースのモーションキャプチャと比較して3次元の精度と時間的安定性を大幅に制限する。 さらに、キャプチャされた3Dのポーズは、しばしば物理的に不正確で、生体力学的に不明確であり、または不確実な環境相互作用(フロア浸透、フットスケート、不自然な身体の傾き、深度の変化)を示す。 そこで我々はPhysCapを,25fpsの単色カメラで物理的に可視でリアルタイムかつマーカーのない人間の3Dモーションキャプチャのための最初のアルゴリズムとして紹介した。 我々のアルゴリズムはまず3D人間のポーズを純粋にキネマティックに捉えます。 この目的のために、cnnは2dおよび3d関節位置を推定し、その後、逆キネマティクスステップは時空コヒーレント関節角および大域的3dポーズを求める。 次に、これらのキネマティックな再構成は、環境制約(例えば、衝突処理や床の配置)、重力、人間の姿勢の生体物理学的妥当性を考慮に入れた、リアルタイムな物理ベースのポーズオプティマイザの制約として使用される。 提案手法では, 地中反応力と残留力を組み合わせて根の制御を行い, 訓練されたニューラルネットワークを用いて画像中の足の接触を検知する。 本手法は, 実時間および一般場面の映像から, 物理的に目立たない姿勢や床の浸透, 足の滑走を伴わずに, 物理的に有理で時間的に安定な3次元人間の動きをキャプチャする。 ビデオはhttp://gvv.mpi-inf.mpg.de/projects/PhysCapで公開されている。

関連論文リスト

• ExFMan: Rendering 3D Dynamic Humans with Hybrid Monocular Blurry Frames and Events [7.820081911598502]
  ハイブリットフレームベースのRGBとバイオインスパイアされたイベントカメラを用いて,高品質な人間を高速動作でレンダリングする,最初のニューラルレンダリングフレームワークであるExFManを提案する。 まず、標準空間における3次元物体の速度場を定式化し、それを画像空間に描画して、動きのぼやけのある身体部位を識別する。 次に,2つの新たな損失,すなわちベロシティ対応光度損失とベロシティ関連事象損失を提案し,ニューラル・ヒューマンを両モードで最適化する。
  論文  参考訳（メタデータ） (2024-09-21T10:58:01Z)
• D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
  本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。 私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
  論文  参考訳（メタデータ） (2022-09-19T06:51:02Z)
• Trajectory Optimization for Physics-Based Reconstruction of 3d Human Pose from Monocular Video [31.96672354594643]
  本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。 物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。 提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-24T18:02:49Z)
• Learning Motion Priors for 4D Human Body Capture in 3D Scenes [81.54377747405812]
  LEMO: LEMO: LEARING Human Motion priors for 4D human body capture。 提案手法では, 連続して復元されたポーズによって現れるジッタを減少させる新規な動きを事前に導入する。 また, 接触摩擦項と, 物体ごとの自己監督訓練により得られる接触認識運動充填剤を設計した。 パイプラインでは、高品質な4D人体撮影、スムーズな動きの再構築、身体とシーンの相互作用を実演しています。
  論文  参考訳（メタデータ） (2021-08-23T20:47:09Z)
• Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
  物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。 人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。 様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
  論文  参考訳（メタデータ） (2021-05-03T17:57:07Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。