論文の概要: Synergistic Global-space Camera and Human Reconstruction from Videos
- arxiv url: http://arxiv.org/abs/2405.14855v1
- Date: Thu, 23 May 2024 17:57:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 13:27:25.681289
- Title: Synergistic Global-space Camera and Human Reconstruction from Videos
- Title（参考訳）: 相乗的グローバル空間カメラと映像からの人間の復元
- Authors: Yizhou Zhao, Tuanfeng Y. Wang, Bhiksha Raj, Min Xu, Jimei Yang, Chun-Hao Paul Huang,
- Abstract要約: この研究は、SynSynR(SynSynR)とSynSynR(SynSynR)を導入し、両者の長所を結婚させた。
具体的には、メカニカルカメラのポーズとシーンポイントの雲を再構成するために、人間対応のメカニカルCHMを設計する。
さらにScene-aware SMPL Denoiserを学習し、密集時間的コヒーレンシと動的シーン制約を組み込むことで世界フレームHMRを強化する。
- 参考スコア（独自算出の注目度）: 41.309293977251855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remarkable strides have been made in reconstructing static scenes or human bodies from monocular videos. Yet, the two problems have largely been approached independently, without much synergy. Most visual SLAM methods can only reconstruct camera trajectories and scene structures up to scale, while most HMR methods reconstruct human meshes in metric scale but fall short in reasoning with cameras and scenes. This work introduces Synergistic Camera and Human Reconstruction (SynCHMR) to marry the best of both worlds. Specifically, we design Human-aware Metric SLAM to reconstruct metric-scale camera poses and scene point clouds using camera-frame HMR as a strong prior, addressing depth, scale, and dynamic ambiguities. Conditioning on the dense scene recovered, we further learn a Scene-aware SMPL Denoiser to enhance world-frame HMR by incorporating spatio-temporal coherency and dynamic scene constraints. Together, they lead to consistent reconstructions of camera trajectories, human meshes, and dense scene point clouds in a common world frame. Project page: https://paulchhuang.github.io/synchmr
- Abstract（参考訳）: モノクラービデオから静的なシーンや人間の身体を再構築する動きが目覚ましい。
しかし、この2つの問題は相乗効果を伴わずに独立にアプローチされてきた。
ほとんどの視覚的SLAM法は、カメラの軌跡やシーン構造を大規模に再構築するしかなく、ほとんどのHMR法はメートル法で人間のメッシュを再構築するが、カメラやシーンによる推論では不足する。
この研究は、SynCHMR(Synergistic Camera and Human Restruction)を導入し、両者の長所を結婚させる。
具体的には,カメラフレームのHMRを高精細度,スケール,ダイナミックなあいまいさに対処し,カメラフレームのHMRを用いて,メカニカルカメラのポーズとシーンポイントの雲を再構成するための人間対応メトリックSLAMを設計する。
得られた密集したシーンを条件に、時空間コヒーレンシと動的シーン制約を組み込むことで、世界フレームHMRを強化するためのシーン対応SMPLデノイザを更に学習する。
同時に、共通の世界フレーム内のカメラ軌道、人間のメッシュ、密集したシーンポイントの雲を一貫した再構築に導く。
プロジェクトページ: https://paulchhuang.github.io/synchmr
関連論文リスト
- Motion Diffusion-Guided 3D Global HMR from a Dynamic Camera [3.6948631725065355]
拡散最適化を用いた新しい3次元大域HMR法DiffOptを提案する。
我々の重要な洞察は、動き拡散モデル(MDM)のような人間の動き生成の最近の進歩は、コヒーレントな人間の動きの強い先行を含むことである。
我々はDiffOptをGlobal 3D Human Pose and Shape in the Wildの電磁データベースからビデオシーケンスで検証した。
論文 参考訳（メタデータ） (2024-11-15T21:09:40Z) - UniHOI: Learning Fast, Dense and Generalizable 4D Reconstruction for Egocentric Hand Object Interaction Videos [25.41337525728398]
密集した4次元再構成に必要な全ての変数を統一するモデルであるUniHOIを導入する。
UniHOIは、動きの存在下で、高速で密度が高く、一般的な単眼的なHOIシーンを再構築するための最初のアプローチである。
論文 参考訳（メタデータ） (2024-11-14T02:57:11Z) - World-Grounded Human Motion Recovery via Gravity-View Coordinates [60.618543026949226]
本研究では,新しい重力-視座標系における人間のポーズ推定手法を提案する。
提案したGVシステムは、ビデオフレーム毎に自然に重力に整合し、一意に定義されている。
提案手法は,カメラ空間と地上設定の両方でよりリアルな動きを再現し,精度と速度の両方で最先端の手法より優れる。
論文 参考訳（メタデータ） (2024-09-10T17:25:47Z) - EgoLocate: Real-time Motion Capture, Localization, and Mapping with
Sparse Body-mounted Sensors [74.1275051763006]
本研究では,人間のモーションキャプチャ(モキャップ),ローカライゼーション,マッピングを,スパースボディ搭載センサからリアルタイムに行うシステムを開発した。
我々の技術は2つの分野の最先端技術と比較して,我々の技術によって大きく改善されている。
論文 参考訳（メタデータ） (2023-05-02T16:56:53Z) - Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis [76.72505510632904]
長い単眼のRGBDビデオから変形可能なシーンを再構成する最初の方法であるTotal-Reconを提案する。
本手法は背景と物体にシーンを階層的に分解し,動作を根体運動と局所的調音に分解する。
論文 参考訳（メタデータ） (2023-04-24T17:59:52Z) - Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。
カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
論文 参考訳（メタデータ） (2023-02-24T18:59:15Z) - GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。
われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。
従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
論文 参考訳（メタデータ） (2021-12-02T18:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。