論文の概要: PC-HMR: Pose Calibration for 3D Human Mesh Recovery from 2D Images/Videos

• arxiv url: http://arxiv.org/abs/2103.09009v1
• Date: Tue, 16 Mar 2021 12:12:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-17 13:27:55.242837
• Title: PC-HMR: Pose Calibration for 3D Human Mesh Recovery from 2D Images/Videos
• Title（参考訳）: PC-HMR:2次元画像/ビデオからの3次元メッシュ復元のためのポスキャリブレーション
• Authors: Tianyu Luan, Yali Wang, Junhao Zhang, Zhe Wang, Zhipeng Zhou, Yu Qiao
• Abstract要約: 我々は2つの新しいPoseフレームワーク、すなわちSerial PC-HMRとParallel PC-HMRを開発した。 当社のフレームワークは、データ駆動学習と幾何学的モデリングの汎用的かつ補完的な統合に基づいています。 我々は一般的なベンチマーク(Human3.6M, 3DPW, SURREAL)について広範な実験を行い、PC-HMRフレームワークがSOTA結果を達成する。
• 参考スコア（独自算出の注目度）: 47.601288796052714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The end-to-end Human Mesh Recovery (HMR) approach has been successfully used for 3D body reconstruction. However, most HMR-based frameworks reconstruct human body by directly learning mesh parameters from images or videos, while lacking explicit guidance of 3D human pose in visual data. As a result, the generated mesh often exhibits incorrect pose for complex activities. To tackle this problem, we propose to exploit 3D pose to calibrate human mesh. Specifically, we develop two novel Pose Calibration frameworks, i.e., Serial PC-HMR and Parallel PC-HMR. By coupling advanced 3D pose estimators and HMR in a serial or parallel manner, these two frameworks can effectively correct human mesh with guidance of a concise pose calibration module. Furthermore, since the calibration module is designed via non-rigid pose transformation, our PC-HMR frameworks can flexibly tackle bone length variations to alleviate misplacement in the calibrated mesh. Finally, our frameworks are based on generic and complementary integration of data-driven learning and geometrical modeling. Via plug-and-play modules, they can be efficiently adapted for both image/video-based human mesh recovery. Additionally, they have no requirement of extra 3D pose annotations in the testing phase, which releases inference difficulties in practice. We perform extensive experiments on the popular bench-marks, i.e., Human3.6M, 3DPW and SURREAL, where our PC-HMR frameworks achieve the SOTA results.
• Abstract（参考訳）: エンド・ツー・エンドのHuman Mesh Recovery (HMR) アプローチは3次元体再構築に成功している。 しかし、ほとんどのhmrベースのフレームワークは、画像やビデオからメッシュパラメータを直接学習することで人体を再構築し、視覚データにおける3d人間のポーズの明確なガイダンスを欠いている。 その結果、生成されたメッシュはしばしば、複雑なアクティビティの誤ったポーズを示す。 この問題に対処するために,人間のメッシュのキャリブレーションに3Dポーズを活用することを提案する。 具体的には,新しいポーズキャリブレーションフレームワークであるserial pc-hmrとparallel pc-hmrを開発した。 高度な3Dポーズ推定器とHMRを連続的または並列的に結合することにより、これらの2つのフレームワークは、簡潔なポーズキャリブレーションモジュールのガイダンスにより、人間のメッシュを効果的に補正することができる。 さらに, キャリブレーションモジュールは非剛性ポーズ変換により設計されているため, PC-HMRフレームワークは骨長の変動に柔軟に対応することができ, キャリブレーションメッシュのずれを軽減できる。 最後に、我々のフレームワークは、データ駆動学習と幾何学的モデリングの汎用的で補完的な統合に基づいている。 プラグアンドプレイモジュールを使用すると、イメージ/ビデオベースのヒューマンメッシュリカバリに効率よく適応できる。 さらに、テストフェーズで追加の3dポーズアノテーションを必要とせず、実際に推論の困難を発生させる。 我々は一般的なベンチマーク(Human3.6M, 3DPW, SURREAL)について広範な実験を行い、PC-HMRフレームワークがSOTA結果を達成する。

関連論文リスト

• CameraHMR: Aligning People with Perspective [54.05758012879385]
  モノクロ画像からの正確な3次元ポーズと形状推定の課題に対処する。 既存のトレーニングデータセットには、擬似基底真理(pGT)を持つ実画像が含まれている。 pGTの精度を向上させる2つの貢献をしている。
  論文  参考訳（メタデータ） (2024-11-12T19:12:12Z)
• Co-Evolution of Pose and Mesh for 3D Human Body Estimation from Video [23.93644678238666]
  ビデオから3次元の人間の動きを復元するPose and Mesh Co-Evolution Network (PMCE)を提案する。 提案したPMCEは、フレーム単位の精度と時間的一貫性の両方の観点から、従来の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-20T16:03:21Z)
• Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
  本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T08:45:26Z)
• MPT: Mesh Pre-Training with Transformers for Human Pose and Mesh Reconstruction [56.80384196339199]
  Mesh Pre-Training(MPT)は、人間のポーズのためのMoCapデータや単一のイメージからのメッシュ再構築などの3Dメッシュデータを活用する、新たな事前トレーニングフレームワークである。 MPTにより、トランスフォーマーモデルは、実際の画像から人間のメッシュ再構築のゼロショット機能を持つことができる。
  論文  参考訳（メタデータ） (2022-11-24T00:02:13Z)
• PLIKS: A Pseudo-Linear Inverse Kinematic Solver for 3D Human Body Estimation [10.50175010474078]
  1枚の2次元画像から人体の3次元メッシュを再構築するためのPLIKSを提案する。 PLIKSはパラメトリックSMPLモデルの線形化された定式化に基づいている。 PLIKSは10%以上の精度で再現可能であることを確認した。
  論文  参考訳（メタデータ） (2022-11-21T18:54:12Z)
• HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation [39.67289969828706]
  本稿では,体メッシュ推定と3次元キーポイント推定のギャップを埋めるために,新しいハイブリッド逆キネマティクスソリューション(HybrIK)を提案する。 HybrIKは、正確な3D関節を相対的なボディ部分回転に変換し、3Dボディーメッシュを再構築する。 その結果,HybrIKは3次元ポーズの精度とパラメトリックな人間の身体構造の両方を保っていることがわかった。
  論文  参考訳（メタデータ） (2020-11-30T10:32:30Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)
• SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
  本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。 主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。 私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
  論文  参考訳（メタデータ） (2020-06-05T18:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。