論文の概要: CameraHMR: Aligning People with Perspective

• arxiv url: http://arxiv.org/abs/2411.08128v1
• Date: Tue, 12 Nov 2024 19:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:11:20.216354
• Title: CameraHMR: Aligning People with Perspective
• Title（参考訳）: CameraHMR: パースペクティブな人との交流
• Authors: Priyanka Patel, Michael J. Black,
• Abstract要約: モノクロ画像からの正確な3次元ポーズと形状推定の課題に対処する。 既存のトレーニングデータセットには、擬似基底真理(pGT)を持つ実画像が含まれている。 pGTの精度を向上させる2つの貢献をしている。
• 参考スコア（独自算出の注目度）: 54.05758012879385
• License:
• Abstract: We address the challenge of accurate 3D human pose and shape estimation from monocular images. The key to accuracy and robustness lies in high-quality training data. Existing training datasets containing real images with pseudo ground truth (pGT) use SMPLify to fit SMPL to sparse 2D joint locations, assuming a simplified camera with default intrinsics. We make two contributions that improve pGT accuracy. First, to estimate camera intrinsics, we develop a field-of-view prediction model (HumanFoV) trained on a dataset of images containing people. We use the estimated intrinsics to enhance the 4D-Humans dataset by incorporating a full perspective camera model during SMPLify fitting. Second, 2D joints provide limited constraints on 3D body shape, resulting in average-looking bodies. To address this, we use the BEDLAM dataset to train a dense surface keypoint detector. We apply this detector to the 4D-Humans dataset and modify SMPLify to fit the detected keypoints, resulting in significantly more realistic body shapes. Finally, we upgrade the HMR2.0 architecture to include the estimated camera parameters. We iterate model training and SMPLify fitting initialized with the previously trained model. This leads to more accurate pGT and a new model, CameraHMR, with state-of-the-art accuracy. Code and pGT are available for research purposes.
• Abstract（参考訳）: モノクロ画像からの正確な3次元ポーズと形状推定の課題に対処する。 正確性と堅牢性の鍵は、高品質なトレーニングデータにある。 既存のトレーニングデータセットには、擬似基底真理(pGT)を持つ実際のイメージが含まれており、SMPLifyを使用して2D関節位置を分離し、デフォルトの内在性を持つ単純化されたカメラを仮定している。 pGTの精度を向上させる2つの貢献をしている。 まず、カメラの内在性を推定するために、人を含む画像のデータセットに基づいて訓練された視野場予測モデル(HumanFoV)を開発する。 SMPLフィッティング中にフルパースペクティブカメラモデルを組み込むことで、4D-Humansデータセットの強化を図る。 第二に、2次元関節は3次元体の形状に限定的な制約を与え、結果として平均的な身体となる。 これを解決するために、BEDLAMデータセットを使用して、高密度表面キーポイント検出器をトレーニングする。 この検出器を4D-Humansデータセットに適用し、SMPLifyを修正して検出したキーポイントに適合させることにより、より現実的なボディ形状が得られる。 最後に、推定カメラパラメータを含むようにHMR2.0アーキテクチャをアップグレードする。 モデルトレーニングとSMPLifyフィッティングを、以前にトレーニングされたモデルで初期化する。 これにより、より正確なpGTと新しいモデルであるCameraHMRが、最先端の精度で実現される。 コードとpGTは研究目的で利用可能である。

関連論文リスト

• Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation [32.30055363306321]
  本研究では、異なる人間のポーズや形状に関連したタスクやデータセットをシームレスに統一するパラダイムを提案する。 私たちの定式化は、トレーニングとテスト時間の両方で、人間の体積の任意の点を問う能力に重点を置いています。 メッシュや2D/3Dスケルトン,密度の高いポーズなど,さまざまな注釈付きデータソースを,変換することなく自然に利用することが可能です。
  論文  参考訳（メタデータ） (2024-07-10T10:44:18Z)
• Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh Reconstruction [66.10717041384625]
  Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。 人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。 このタスク用に調整された2つの現実世界のデータセットを拡張します。
  論文  参考訳（メタデータ） (2023-03-24T04:22:41Z)
• Adversarial Parametric Pose Prior [106.12437086990853]
  我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。 得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-12-08T10:05:32Z)
• Shape-aware Multi-Person Pose Estimation from Multi-View Images [47.13919147134315]
  提案した粗大なパイプラインは、まず複数のカメラビューからノイズの多い2次元の観測結果を3次元空間に集約する。 最終的なポーズ推定は、高信頼度多視点2次元観測と3次元関節候補をリンクする新しい最適化スキームから得られる。
  論文  参考訳（メタデータ） (2021-10-05T20:04:21Z)
• SPEC: Seeing People in the Wild with an Estimated Camera [64.85791231401684]
  1枚の画像から視点カメラを推定する最初の3DHPS方式であるSPECを紹介する。 我々は、視野、カメラピッチ、入力画像のロールを推定するためにニューラルネットワークを訓練する。 次に、カメラキャリブレーションを画像の特徴に合わせてロールする新しいネットワークをトレーニングし、これらを組み合わせて3Dのボディ形状とポーズを復元する。
  論文  参考訳（メタデータ） (2021-10-01T19:05:18Z)
• Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
  Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
  論文  参考訳（メタデータ） (2021-07-08T15:19:36Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Beyond Weak Perspective for Monocular 3D Human Pose Estimation [6.883305568568084]
  単眼映像からの3次元関節位置と方向予測の課題を考察する。 まず,市販のポーズ推定アルゴリズムを用いて2次元関節位置を推定する。 次に、初期パラメータを受信するSMPLifyアルゴリズムに準拠する。
  論文  参考訳（メタデータ） (2020-09-14T16:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。