論文の概要: SPEC: Seeing People in the Wild with an Estimated Camera
- arxiv url: http://arxiv.org/abs/2110.00620v1
- Date: Fri, 1 Oct 2021 19:05:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-05 15:35:38.788845
- Title: SPEC: Seeing People in the Wild with an Estimated Camera
- Title(参考訳): SPEC:推定カメラで野生の人々を見る
- Authors: Muhammed Kocabas, Chun-Hao P. Huang, Joachim Tesch, Lea M\"uller,
Otmar Hilliges, and Michael J. Black
- Abstract要約: 1枚の画像から視点カメラを推定する最初の3DHPS方式であるSPECを紹介する。
我々は、視野、カメラピッチ、入力画像のロールを推定するためにニューラルネットワークを訓練する。
次に、カメラキャリブレーションを画像の特徴に合わせてロールする新しいネットワークをトレーニングし、これらを組み合わせて3Dのボディ形状とポーズを復元する。
- 参考スコア(独自算出の注目度): 64.85791231401684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the lack of camera parameter information for in-the-wild images,
existing 3D human pose and shape (HPS) estimation methods make several
simplifying assumptions: weak-perspective projection, large constant focal
length, and zero camera rotation. These assumptions often do not hold and we
show, quantitatively and qualitatively, that they cause errors in the
reconstructed 3D shape and pose. To address this, we introduce SPEC, the first
in-the-wild 3D HPS method that estimates the perspective camera from a single
image and employs this to reconstruct 3D human bodies more accurately. %regress
3D human bodies. First, we train a neural network to estimate the field of
view, camera pitch, and roll given an input image. We employ novel losses that
improve the calibration accuracy over previous work. We then train a novel
network that concatenates the camera calibration to the image features and uses
these together to regress 3D body shape and pose. SPEC is more accurate than
the prior art on the standard benchmark (3DPW) as well as two new datasets with
more challenging camera views and varying focal lengths. Specifically, we
create a new photorealistic synthetic dataset (SPEC-SYN) with ground truth 3D
bodies and a novel in-the-wild dataset (SPEC-MTP) with calibration and
high-quality reference bodies. Both qualitative and quantitative analysis
confirm that knowing camera parameters during inference regresses better human
bodies. Code and datasets are available for research purposes at
https://spec.is.tue.mpg.de.
- Abstract(参考訳): カメラパラメータ情報がないため、既存の3次元ポーズアンドシェイプ(HPS)推定法は、弱いパースペクティブ・プロジェクション、大きな定焦点長、カメラ回転のゼロといった、いくつかの単純化された仮定を行う。
これらの仮定はしばしば持たず、定量的かつ定性的に、再構成された3d形状とポーズの誤りを引き起こすことを示した。
そこで本研究では,1枚の画像からパースペクティブカメラを推定し,より正確に3d人体を再構築する最初の3d hps法であるspecを提案する。
%regress 3d human bodyであった。
まず、入力された画像の視野、カメラピッチ、ロールを推定するためにニューラルネットワークを訓練する。
従来の作業よりも校正精度を向上させる新たな損失を導入する。
次に、カメラキャリブレーションを画像の特徴に結合する新しいネットワークをトレーニングし、これらを組み合わせて3Dボディ形状とポーズを再現する。
SPECは、標準ベンチマーク(3DPW)の以前の技術よりも正確で、より困難なカメラビューとさまざまな焦点距離を持つ2つの新しいデータセットである。
具体的には、地上の真実を3Dで表現した新しいフォトリアリスティック合成データセット(SPEC-SYN)と、キャリブレーションと高品質な参照ボディを備えた新しいインザワイルドデータセット(SPEC-MTP)を作成する。
質的および定量的分析の両方が、推論の回帰中にカメラパラメータを知ることは、人体をより良くすることを確認した。
コードとデータセットは、https://spec.is.tue.mpg.deで研究目的に利用できる。
関連論文リスト
- Multi-Person 3D Pose Estimation from Multi-View Uncalibrated Depth
Cameras [36.59439020480503]
我々は、限られた数の非校正深度カメラから、多視点多人数3D人物ポーズ推定の課題に取り組む。
本稿では,3次元ポーズ推定のためのRGBDビデオストリームを提供する,疎遠で校正されていない深度カメラを活用することを提案する。
論文 参考訳(メタデータ) (2024-01-28T10:06:17Z) - Unsupervised Multi-Person 3D Human Pose Estimation From 2D Poses Alone [4.648549457266638]
本研究は,教師なし多人数2D-3Dポーズ推定の実現可能性について検討した最初の研究の1つである。
本手法では,各被験者の2次元ポーズを3次元に独立に持ち上げ,それらを共有3次元座標系で組み合わせる。
これにより、ポーズの正確な3D再構成を検索することができる。
論文 参考訳(メタデータ) (2023-09-26T11:42:56Z) - Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh
Reconstruction [66.10717041384625]
Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。
人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。
このタスク用に調整された2つの現実世界のデータセットを拡張します。
論文 参考訳(メタデータ) (2023-03-24T04:22:41Z) - Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。
コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。
特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
論文 参考訳(メタデータ) (2023-01-12T18:01:28Z) - ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera
Elevation and Learning Normalizing Flows on 2D Poses [23.554957518485324]
本研究では、1つの画像から3次元人間のポーズを予測することを学ぶ教師なしのアプローチを提案する。
ランダムなプロジェクションに最も近い3次元ポーズを推定し、2次元ポーズの正規化フローを用いて推定する。
我々は,Human3.6M と MPI-INF-3DHP のベンチマークデータセット上で,最先端の教師なしポーズ推定手法を多くの指標で上回っている。
論文 参考訳(メタデータ) (2021-12-14T01:12:45Z) - Learning Temporal 3D Human Pose Estimation with Pseudo-Labels [3.0954251281114513]
自己監督型3次元ポーズ推定のための簡易かつ効果的なアプローチを提案する。
我々は、マルチビューカメラシステムの2Dボディポーズ推定を三角測量に頼っている。
提案手法はHuman3.6MとMPI-INF-3DHPベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2021-10-14T17:40:45Z) - MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。
本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
論文 参考訳(メタデータ) (2021-08-10T18:39:56Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳(メタデータ) (2020-10-27T03:31:35Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳(メタデータ) (2020-04-09T07:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。