論文の概要: W-HMR: Human Mesh Recovery in World Space with Weak-supervised Camera
Calibration and Orientation Correction
- arxiv url: http://arxiv.org/abs/2311.17460v2
- Date: Thu, 30 Nov 2023 07:58:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 11:21:43.078536
- Title: W-HMR: Human Mesh Recovery in World Space with Weak-supervised Camera
Calibration and Orientation Correction
- Title(参考訳): W-HMR:Weak-supervised Camera Calibration and Orientation Correctionを用いた世界空間でのヒューマンメッシュリカバリ
- Authors: Wei Yao, Hongwen Zhang, Yunlian Sun, Jinhui Tang
- Abstract要約: 我々は,W-HMRを提案する。W-HMRは,大域的な身体回復をカメラキャリブレーション,局所的な身体回復,大域的な身体配向補正に分解する。
我々は、焦点距離ラベルへの依存をなくし、身体の歪みを抑えるための第1の弱教師付きカメラキャリブレーション法を設計する。
本研究では,再建された人体が世界空間で正常に保たれるような新しい配向補正モジュールを提案する。
- 参考スコア(独自算出の注目度): 38.70165639070374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For a long time, in the field of reconstructing 3D human bodies from
monocular images, most methods opted to simplify the task by minimizing the
influence of the camera. Using a coarse focal length setting results in the
reconstructed bodies not aligning well with distorted images. Ignoring camera
rotation leads to an unrealistic reconstructed body pose in world space.
Consequently, existing methods' application scenarios are confined to
controlled environments. And they struggle to achieve accurate and reasonable
reconstruction in world space when confronted with complex and diverse
in-the-wild images. To address the above issues, we propose W-HMR, which
decouples global body recovery into camera calibration, local body recovery and
global body orientation correction. We design the first weak-supervised camera
calibration method for body distortion, eliminating dependence on focal length
labels and achieving finer mesh-image alignment. We propose a novel orientation
correction module to allow the reconstructed human body to remain normal in
world space. Decoupling body orientation and body pose enables our model to
consider the accuracy in camera coordinate and the reasonableness in world
coordinate simultaneously, expanding the range of applications. As a result,
W-HMR achieves high-quality reconstruction in dual coordinate systems,
particularly in challenging scenes. Codes will be released on
https://yw0208.github.io/w-hmr/ after publication.
- Abstract(参考訳): 長期にわたり、モノクロ画像から3次元の人体を再構築する分野では、カメラの影響を最小限に抑えてタスクを単純化することを選んだ。
粗い焦点長設定を用いることで、再構成体は歪んだ画像とうまく一致しない。
カメラの回転を無視すると、世界空間で非現実的な再構築されたボディポーズにつながる。
その結果、既存のメソッドのアプリケーションシナリオは、制御された環境に限られる。
そして彼らは、複雑で多種多様な画像と向き合う世界の空間において、正確で合理的な再構築を達成するのに苦労している。
この問題に対処するため,w-hmrを提案する。w-hmrは,グローバルボディリカバリをカメラキャリブレーション,ローカルボディリカバリ,グローバルボディオリエンテーション補正に分解する。
身体歪みに対する最初の弱教師付きカメラキャリブレーション法を考案し,焦点長ラベルへの依存をなくし,より微細なメッシュ画像アライメントを実現する。
本研究では,再建された人体を世界空間で正常に維持するための新しい配向補正モジュールを提案する。
ボディオリエンテーションとボディポーズの分離は,カメラ座標の精度と世界座標の合理的性を同時に考慮し,応用範囲を広げることを可能にする。
その結果、W-HMRは二元座標系、特に困難な場面において高品質な再構成を実現する。
コードは公開後、https://yw0208.github.io/w-hmr/でリリースされる。
関連論文リスト
- WHAC: World-grounded Humans and Cameras [37.877565981937586]
我々は,表現的パラメトリック人間モデル(SMPL-X)と対応するカメラのポーズを共同で再現することを目指している。
WHACと呼ばれる新しいフレームワークを導入し、世界規模で表現された人間のポーズと形状の推定を容易にする。
我々は、正確に注釈付けされた人間とカメラを含む新しい合成データセットWHAC-A-Moleを提案する。
論文 参考訳(メタデータ) (2024-03-19T17:58:02Z) - Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh
Reconstruction [66.10717041384625]
Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。
人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。
このタスク用に調整された2つの現実世界のデータセットを拡張します。
論文 参考訳(メタデータ) (2023-03-24T04:22:41Z) - GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。
われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。
従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
論文 参考訳(メタデータ) (2021-12-02T18:59:54Z) - Estimating Egocentric 3D Human Pose in Global Space [70.7272154474722]
本稿では,魚眼カメラを用いた自己中心型3次元体姿勢推定法を提案する。
提案手法は, 定量的, 定性的に, 最先端の手法より優れている。
論文 参考訳(メタデータ) (2021-04-27T20:01:57Z) - PC-HMR: Pose Calibration for 3D Human Mesh Recovery from 2D
Images/Videos [47.601288796052714]
我々は2つの新しいPoseフレームワーク、すなわちSerial PC-HMRとParallel PC-HMRを開発した。
当社のフレームワークは、データ駆動学習と幾何学的モデリングの汎用的かつ補完的な統合に基づいています。
我々は一般的なベンチマーク(Human3.6M, 3DPW, SURREAL)について広範な実験を行い、PC-HMRフレームワークがSOTA結果を達成する。
論文 参考訳(メタデータ) (2021-03-16T12:12:45Z) - SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。
この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。
本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-11-02T16:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。