論文の概要: W-HMR: Human Mesh Recovery in World Space with Weak-supervised Camera Calibration and Orientation Correction

• arxiv url: http://arxiv.org/abs/2311.17460v2
• Date: Thu, 30 Nov 2023 07:58:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 11:21:43.078536
• Title: W-HMR: Human Mesh Recovery in World Space with Weak-supervised Camera Calibration and Orientation Correction
• Title（参考訳）: W-HMR:Weak-supervised Camera Calibration and Orientation Correctionを用いた世界空間でのヒューマンメッシュリカバリ
• Authors: Wei Yao, Hongwen Zhang, Yunlian Sun, Jinhui Tang
• Abstract要約: 我々は,W-HMRを提案する。W-HMRは,大域的な身体回復をカメラキャリブレーション,局所的な身体回復,大域的な身体配向補正に分解する。 我々は、焦点距離ラベルへの依存をなくし、身体の歪みを抑えるための第1の弱教師付きカメラキャリブレーション法を設計する。 本研究では,再建された人体が世界空間で正常に保たれるような新しい配向補正モジュールを提案する。
• 参考スコア（独自算出の注目度）: 38.70165639070374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For a long time, in the field of reconstructing 3D human bodies from monocular images, most methods opted to simplify the task by minimizing the influence of the camera. Using a coarse focal length setting results in the reconstructed bodies not aligning well with distorted images. Ignoring camera rotation leads to an unrealistic reconstructed body pose in world space. Consequently, existing methods' application scenarios are confined to controlled environments. And they struggle to achieve accurate and reasonable reconstruction in world space when confronted with complex and diverse in-the-wild images. To address the above issues, we propose W-HMR, which decouples global body recovery into camera calibration, local body recovery and global body orientation correction. We design the first weak-supervised camera calibration method for body distortion, eliminating dependence on focal length labels and achieving finer mesh-image alignment. We propose a novel orientation correction module to allow the reconstructed human body to remain normal in world space. Decoupling body orientation and body pose enables our model to consider the accuracy in camera coordinate and the reasonableness in world coordinate simultaneously, expanding the range of applications. As a result, W-HMR achieves high-quality reconstruction in dual coordinate systems, particularly in challenging scenes. Codes will be released on https://yw0208.github.io/w-hmr/ after publication.
• Abstract（参考訳）: 長期にわたり、モノクロ画像から3次元の人体を再構築する分野では、カメラの影響を最小限に抑えてタスクを単純化することを選んだ。 粗い焦点長設定を用いることで、再構成体は歪んだ画像とうまく一致しない。 カメラの回転を無視すると、世界空間で非現実的な再構築されたボディポーズにつながる。 その結果、既存のメソッドのアプリケーションシナリオは、制御された環境に限られる。 そして彼らは、複雑で多種多様な画像と向き合う世界の空間において、正確で合理的な再構築を達成するのに苦労している。 この問題に対処するため,w-hmrを提案する。w-hmrは,グローバルボディリカバリをカメラキャリブレーション,ローカルボディリカバリ,グローバルボディオリエンテーション補正に分解する。 身体歪みに対する最初の弱教師付きカメラキャリブレーション法を考案し,焦点長ラベルへの依存をなくし,より微細なメッシュ画像アライメントを実現する。 本研究では,再建された人体を世界空間で正常に維持するための新しい配向補正モジュールを提案する。 ボディオリエンテーションとボディポーズの分離は,カメラ座標の精度と世界座標の合理的性を同時に考慮し,応用範囲を広げることを可能にする。 その結果、W-HMRは二元座標系、特に困難な場面において高品質な再構成を実現する。 コードは公開後、https://yw0208.github.io/w-hmr/でリリースされる。

関連論文リスト

• DeforHMR: Vision Transformer with Deformable Cross-Attention for 3D Human Mesh Recovery [2.1653492349540784]
  DeforHMRは、人間のポーズパラメータの予測を強化するために設計された、新しい回帰ベースの単分子HMRフレームワークである。 DeforHMRは、トランスフォーマーデコーダ内の新しいクエリ非依存の変形可能なクロスアテンション機構を活用する。 広範に使用されている3D HMRベンチマーク3DPW と RICH 上で,単一フレーム回帰に基づく手法の最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-18T00:46:59Z)
• World-Grounded Human Motion Recovery via Gravity-View Coordinates [60.618543026949226]
  本研究では,新しい重力-視座標系における人間のポーズ推定手法を提案する。 提案したGVシステムは、ビデオフレーム毎に自然に重力に整合し、一意に定義されている。 提案手法は,カメラ空間と地上設定の両方でよりリアルな動きを再現し,精度と速度の両方で最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-09-10T17:25:47Z)
• Occlusion-Aware 3D Motion Interpretation for Abnormal Behavior Detection [10.782354892545651]
  我々は,メッシュ頂点とヒト関節の3次元座標をモノクロビデオから再構成し,運動異常を識別するOAD2Dを提案する。 動作特徴の定量化にVQVAEを用いるM2Tモデルと組み合わせることで、異常姿勢推定を再構成する。 本研究は, 重度・自己閉塞性に対する異常行動検出のロバスト性を示すものである。
  論文  参考訳（メタデータ） (2024-07-23T18:41:16Z)
• OfCaM: Global Human Mesh Recovery via Optimization-free Camera Motion Scale Calibration [32.69343215997592]
  本稿では,人間のメッシュリカバリ(HMR)モデルからの事前知識を利用して,未知のスケールファクタを直接校正するフレームワークを提案する。 提案手法は,グローバルなヒューマンメッシュ推定タスクの新たな標準を設定し,従来のSOTAに比べて,グローバルなヒューマンメッシュの動作誤差を60%削減する。
  論文  参考訳（メタデータ） (2024-06-30T03:31:21Z)
• P2O-Calib: Camera-LiDAR Calibration Using Point-Pair Spatial Occlusion Relationship [1.6921147361216515]
  本研究では,3次元空間における閉塞関係を用いた2次元3次元エッジポイント抽出に基づく新たなターゲットレスキャリブレーション手法を提案する。 本手法は,高画質カメラ-LiDARキャリブレーションによる実用的応用に寄与する,低誤差かつ高ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-11-04T14:32:55Z)
• Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh Reconstruction [66.10717041384625]
  Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。 人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。 このタスク用に調整された2つの現実世界のデータセットを拡張します。
  論文  参考訳（メタデータ） (2023-03-24T04:22:41Z)
• Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular Depth Estimation by Integrating IMU Motion Dynamics [74.1720528573331]
  教師なし単眼深度と自我運動推定は近年広く研究されている。 我々は、視覚情報とIMUモーションダイナミクスを統合した新しいスケールアウェアフレームワークDynaDepthを提案する。 我々は、KITTIおよびMake3Dデータセット上で広範囲な実験とシミュレーションを行うことにより、DynaDepthの有効性を検証する。
  論文  参考訳（メタデータ） (2022-07-11T07:50:22Z)
• Towards Model Generalization for Monocular 3D Object Detection [57.25828870799331]
  我々は,Mono3Dオブジェクト検出に有効な統合カメラ一般化パラダイム(CGP)を提案する。 また,インスタンスレベルの拡張によりギャップを埋める2D-3D幾何一貫性オブジェクトスケーリング戦略(GCOS)を提案する。 DGMono3Dと呼ばれる手法は、評価された全てのデータセットに対して顕著な性能を達成し、SoTAの教師なしドメイン適応スキームを上回ります。
  論文  参考訳（メタデータ） (2022-05-23T23:05:07Z)
• Estimating Egocentric 3D Human Pose in Global Space [70.7272154474722]
  本稿では,魚眼カメラを用いた自己中心型3次元体姿勢推定法を提案する。 提案手法は, 定量的, 定性的に, 最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-04-27T20:01:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。