論文の概要: 3D Human Pose Estimation via Intuitive Physics

• arxiv url: http://arxiv.org/abs/2303.18246v2
• Date: Thu, 6 Apr 2023 17:59:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 16:38:15.922343
• Title: 3D Human Pose Estimation via Intuitive Physics
• Title（参考訳）: 直感的物理による3次元ポーズ推定
• Authors: Shashank Tripathi, Lea M\"uller, Chun-Hao P. Huang, Omid Taheri, Michael J. Black, Dimitrios Tzionas
• Abstract要約: 画像から3D人間を推定すると、しばしば床に傾いたり、浮いたり、突っ込んだりする不明瞭な体が生まれる。 シーンと相互作用する3次元SMPL体から推測できる新しい直感的物理用語(IP)を利用する。 我々は,カラー画像から3次元体を「安定」な構成で推定するために,可塑性フロアコンタクトを奨励し,IPMANを開発した。
• 参考スコア（独自算出の注目度）: 50.45202003350222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating 3D humans from images often produces implausible bodies that lean, float, or penetrate the floor. Such methods ignore the fact that bodies are typically supported by the scene. A physics engine can be used to enforce physical plausibility, but these are not differentiable, rely on unrealistic proxy bodies, and are difficult to integrate into existing optimization and learning frameworks. In contrast, we exploit novel intuitive-physics (IP) terms that can be inferred from a 3D SMPL body interacting with the scene. Inspired by biomechanics, we infer the pressure heatmap on the body, the Center of Pressure (CoP) from the heatmap, and the SMPL body's Center of Mass (CoM). With these, we develop IPMAN, to estimate a 3D body from a color image in a "stable" configuration by encouraging plausible floor contact and overlapping CoP and CoM. Our IP terms are intuitive, easy to implement, fast to compute, differentiable, and can be integrated into existing optimization and regression methods. We evaluate IPMAN on standard datasets and MoYo, a new dataset with synchronized multi-view images, ground-truth 3D bodies with complex poses, body-floor contact, CoM and pressure. IPMAN produces more plausible results than the state of the art, improving accuracy for static poses, while not hurting dynamic ones. Code and data are available for research at https://ipman.is.tue.mpg.de.
• Abstract（参考訳）: 画像から3D人間を推定すると、しばしば床に傾いたり、浮いたり、突っ込んだりする不明瞭な体が生まれる。 このような方法は、通常、身体がシーンによって支えられているという事実を無視する。 物理エンジンは物理的実用性を強制するために使用できるが、それらは微分可能ではなく、非現実的なプロキシボディに依存しており、既存の最適化や学習フレームワークへの統合が困難である。 対照的に,我々はシーンと相互作用する3d smpl 体から推測できる新しい直観的物理学(ip)用語を利用する。 生体力学に触発されて、体上の圧力ヒートマップ、熱マップから圧力センター(CoP)、SMPLボディの質量センター(CoM)を推定する。 そこで我々は, カラー画像から3次元体を「安定」な構成で推定するIPMANを開発し, プラウシブルフロアコンタクトの促進とCoPとCoMの重なり合いを図った。 我々のIP用語は直感的で、実装が容易で、高速に計算でき、微分可能で、既存の最適化と回帰手法に統合できます。 我々は、標準データセット上のIPMANと、同期したマルチビュー画像、複雑なポーズ、ボディーフロア接触、CoM、プレッシャーを持つ地上3Dボディを備えた新しいデータセットであるMoYoを評価した。 ipmanは、静的なポーズの精度を改善しながら、ダイナミックなポーズを傷つけることなく、最先端の技術よりも、より説得力のある結果を生み出す。 コードとデータはhttps://ipman.is.tue.mpg.deで研究することができる。

関連論文リスト

• Hybrid 3D Human Pose Estimation with Monocular Video and Sparse IMUs [15.017274891943162]
  モノクロビデオからの時間的3Dポーズ推定は、人間中心のコンピュータビジョンにおいて難しい課題である。 情報ソースを補完するために慣性センサが導入された。 物理的に合理的な3Dポーズを生成するために、異種センサデータを統合することは依然として困難である。
  論文  参考訳（メタデータ） (2024-04-27T09:02:42Z)
• Cloth2Body: Generating 3D Human Body Mesh from 2D Clothing [54.29207348918216]
  Cloth2Bodyは、入力の部分的な観察と出力の多様性によって引き起こされる新しい課題に対処する必要がある。 本稿では,2次元衣料品画像のポーズと形状によってパラメータ化された3Dボディメッシュを高精度に推定できるエンドツーエンドフレームワークを提案する。 実験結果から示されるように,提案手法は最先端の性能を実現し,自然および多様な3Dボディメッシュを2次元画像から効果的に回収することができる。
  論文  参考訳（メタデータ） (2023-09-28T06:18:38Z)
• Trajectory Optimization for Physics-Based Reconstruction of 3d Human Pose from Monocular Video [31.96672354594643]
  本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。 物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。 提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-24T18:02:49Z)
• COAP: Compositional Articulated Occupancy of People [28.234772596912162]
  人体を明瞭に表現する新しい神経暗黙表現法を提案する。 我々は、ニューラルネットワークの占有度を学習するために、部分認識エンコーダデコーダアーキテクチャを採用する。 提案手法は, 効率と精度の両面において, 既存の解よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-13T06:02:20Z)
• Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
  物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。 人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。 様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
  論文  参考訳（メタデータ） (2021-05-03T17:57:07Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• PLACE: Proximity Learning of Articulation and Contact in 3D Environments [70.50782687884839]
  本研究では,人体と周囲の3Dシーンとの近接性をモデル化した新しいインタラクション生成手法PLACEを提案する。 我々の知覚学的研究は、PLACEが実際の人間とシーンの相互作用のリアリズムにアプローチし、最先端の手法を著しく改善することを示している。
  論文  参考訳（メタデータ） (2020-08-12T21:00:10Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。