論文の概要: SPEC: Seeing People in the Wild with an Estimated Camera

• arxiv url: http://arxiv.org/abs/2110.00620v1
• Date: Fri, 1 Oct 2021 19:05:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 15:35:38.788845
• Title: SPEC: Seeing People in the Wild with an Estimated Camera
• Title（参考訳）: SPEC:推定カメラで野生の人々を見る
• Authors: Muhammed Kocabas, Chun-Hao P. Huang, Joachim Tesch, Lea M\"uller, Otmar Hilliges, and Michael J. Black
• Abstract要約: 1枚の画像から視点カメラを推定する最初の3DHPS方式であるSPECを紹介する。 我々は、視野、カメラピッチ、入力画像のロールを推定するためにニューラルネットワークを訓練する。 次に、カメラキャリブレーションを画像の特徴に合わせてロールする新しいネットワークをトレーニングし、これらを組み合わせて3Dのボディ形状とポーズを復元する。
• 参考スコア（独自算出の注目度）: 64.85791231401684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the lack of camera parameter information for in-the-wild images, existing 3D human pose and shape (HPS) estimation methods make several simplifying assumptions: weak-perspective projection, large constant focal length, and zero camera rotation. These assumptions often do not hold and we show, quantitatively and qualitatively, that they cause errors in the reconstructed 3D shape and pose. To address this, we introduce SPEC, the first in-the-wild 3D HPS method that estimates the perspective camera from a single image and employs this to reconstruct 3D human bodies more accurately. %regress 3D human bodies. First, we train a neural network to estimate the field of view, camera pitch, and roll given an input image. We employ novel losses that improve the calibration accuracy over previous work. We then train a novel network that concatenates the camera calibration to the image features and uses these together to regress 3D body shape and pose. SPEC is more accurate than the prior art on the standard benchmark (3DPW) as well as two new datasets with more challenging camera views and varying focal lengths. Specifically, we create a new photorealistic synthetic dataset (SPEC-SYN) with ground truth 3D bodies and a novel in-the-wild dataset (SPEC-MTP) with calibration and high-quality reference bodies. Both qualitative and quantitative analysis confirm that knowing camera parameters during inference regresses better human bodies. Code and datasets are available for research purposes at https://spec.is.tue.mpg.de.
• Abstract（参考訳）: カメラパラメータ情報がないため、既存の3次元ポーズアンドシェイプ(HPS)推定法は、弱いパースペクティブ・プロジェクション、大きな定焦点長、カメラ回転のゼロといった、いくつかの単純化された仮定を行う。 これらの仮定はしばしば持たず、定量的かつ定性的に、再構成された3d形状とポーズの誤りを引き起こすことを示した。 そこで本研究では,1枚の画像からパースペクティブカメラを推定し,より正確に3d人体を再構築する最初の3d hps法であるspecを提案する。 %regress 3d human bodyであった。 まず、入力された画像の視野、カメラピッチ、ロールを推定するためにニューラルネットワークを訓練する。 従来の作業よりも校正精度を向上させる新たな損失を導入する。 次に、カメラキャリブレーションを画像の特徴に結合する新しいネットワークをトレーニングし、これらを組み合わせて3Dボディ形状とポーズを再現する。 SPECは、標準ベンチマーク(3DPW)の以前の技術よりも正確で、より困難なカメラビューとさまざまな焦点距離を持つ2つの新しいデータセットである。 具体的には、地上の真実を3Dで表現した新しいフォトリアリスティック合成データセット(SPEC-SYN)と、キャリブレーションと高品質な参照ボディを備えた新しいインザワイルドデータセット(SPEC-MTP)を作成する。 質的および定量的分析の両方が、推論の回帰中にカメラパラメータを知ることは、人体をより良くすることを確認した。 コードとデータセットは、https://spec.is.tue.mpg.deで研究目的に利用できる。

関連論文リスト

• CameraHMR: Aligning People with Perspective [54.05758012879385]
  モノクロ画像からの正確な3次元ポーズと形状推定の課題に対処する。 既存のトレーニングデータセットには、擬似基底真理(pGT)を持つ実画像が含まれている。 pGTの精度を向上させる2つの貢献をしている。
  論文  参考訳（メタデータ） (2024-11-12T19:12:12Z)
• SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views [36.02533658048349]
  本研究では,3次元テクスチャメッシュを再構成し,スパースビュー画像に対する相対カメラのポーズを推定する新しい手法であるSpaRPを提案する。 SpaRPは2次元拡散モデルから知識を抽出し、それらを微調整し、スパースビュー間の3次元空間関係を暗黙的に推論する。 テクスチャ化されたメッシュを生成するのに、わずか20秒しかかからず、カメラは入力ビューにポーズする。
  論文  参考訳（メタデータ） (2024-08-19T17:53:10Z)
• Multi-HMR: Multi-Person Whole-Body Human Mesh Recovery in a Single Shot [22.848563931757962]
  単一のRGB画像から多人数で3Dメッシュを回収するための強力なシグルショットモデルであるMulti-HMRを提案する。 SMPL-Xパラメトリックモデルを用いて、手や表情を含む全身を予測する。 トレーニングデータに組み込むことで,特に手に対する予測がさらに向上することを示す。
  論文  参考訳（メタデータ） (2024-02-22T16:05:13Z)
• Unsupervised Multi-Person 3D Human Pose Estimation From 2D Poses Alone [4.648549457266638]
  本研究は,教師なし多人数2D-3Dポーズ推定の実現可能性について検討した最初の研究の1つである。 本手法では,各被験者の2次元ポーズを3次元に独立に持ち上げ,それらを共有3次元座標系で組み合わせる。 これにより、ポーズの正確な3D再構成を検索することができる。
  論文  参考訳（メタデータ） (2023-09-26T11:42:56Z)
• Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh Reconstruction [66.10717041384625]
  Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。 人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。 このタスク用に調整された2つの現実世界のデータセットを拡張します。
  論文  参考訳（メタデータ） (2023-03-24T04:22:41Z)
• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
  正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。 本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
  論文  参考訳（メタデータ） (2021-08-10T18:39:56Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。