論文の概要: GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras

• arxiv url: http://arxiv.org/abs/2112.01524v1
• Date: Thu, 2 Dec 2021 18:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 14:08:22.665292
• Title: GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras
• Title（参考訳）: GLAMR: ダイナミックカメラを用いたグローバルオクルージョン対応ヒューマンメッシュリカバリ
• Authors: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, Jan Kautz
• Abstract要約: ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。 われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。 従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
• 参考スコア（独自算出の注目度）: 99.07219478953982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an approach for 3D global human mesh recovery from monocular videos recorded with dynamic cameras. Our approach is robust to severe and long-term occlusions and tracks human bodies even when they go outside the camera's field of view. To achieve this, we first propose a deep generative motion infiller, which autoregressively infills the body motions of occluded humans based on visible motions. Additionally, in contrast to prior work, our approach reconstructs human meshes in consistent global coordinates even with dynamic cameras. Since the joint reconstruction of human motions and camera poses is underconstrained, we propose a global trajectory predictor that generates global human trajectories based on local body movements. Using the predicted trajectories as anchors, we present a global optimization framework that refines the predicted trajectories and optimizes the camera poses to match the video evidence such as 2D keypoints. Experiments on challenging indoor and in-the-wild datasets with dynamic cameras demonstrate that the proposed approach outperforms prior methods significantly in terms of motion infilling and global mesh recovery.
• Abstract（参考訳）: ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュ復元手法を提案する。 我々のアプローチは、厳密で長期の閉塞に対して堅牢であり、カメラの視野外でも人間の身体を追跡します。 これを実現するために,我々はまず,可視的動作に基づいて自己回帰的に人体運動に浸透する深部発生運動インフィルを提案する。 さらに,従来の研究とは対照的に,ダイナミックカメラにおいても,人間のメッシュを一貫したグローバル座標で再構築する。 人間の動きとカメラポーズの協調的再構成は制約が低いため,局所的な身体の動きに基づくグローバルな人間の軌跡を生成するグローバルな軌跡予測器を提案する。 予測軌跡をアンカーとして用いることで,予測軌跡を洗練し,カメラのポーズを2Dキーポイントなどの映像証拠に合わせるグローバル最適化フレームワークを提案する。 動的カメラを用いた屋内および車内データセットへの挑戦実験により,提案手法が,モーションインフィルングとグローバルメッシュリカバリの点で,先行手法を大幅に上回っていることが示された。

関連論文リスト

• Motion Diffusion-Guided 3D Global HMR from a Dynamic Camera [3.6948631725065355]
  拡散最適化を用いた新しい3次元大域HMR法DiffOptを提案する。 我々の重要な洞察は、動き拡散モデル(MDM)のような人間の動き生成の最近の進歩は、コヒーレントな人間の動きの強い先行を含むことである。 我々はDiffOptをGlobal 3D Human Pose and Shape in the Wildの電磁データベースからビデオシーケンスで検証した。
  論文  参考訳（メタデータ） (2024-11-15T21:09:40Z)
• World-Grounded Human Motion Recovery via Gravity-View Coordinates [60.618543026949226]
  本研究では,新しい重力-視座標系における人間のポーズ推定手法を提案する。 提案したGVシステムは、ビデオフレーム毎に自然に重力に整合し、一意に定義されている。 提案手法は,カメラ空間と地上設定の両方でよりリアルな動きを再現し,精度と速度の両方で最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-09-10T17:25:47Z)
• COIN: Control-Inpainting Diffusion Prior for Human and Camera Motion Estimation [98.05046790227561]
  COINは、人間の動きとカメラの動きを細粒度に制御できる、コントロール・インパインティング・モーション拡散である。 COINは、グローバルな人間の動き推定とカメラの動き推定という観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-08-29T10:36:29Z)
• WHAC: World-grounded Humans and Cameras [37.877565981937586]
  我々は,表現的パラメトリック人間モデル(SMPL-X)と対応するカメラのポーズを共同で再現することを目指している。 WHACと呼ばれる新しいフレームワークを導入し、世界規模で表現された人間のポーズと形状の推定を容易にする。 我々は、正確に注釈付けされた人間とカメラを含む新しい合成データセットWHAC-A-Moleを提案する。
  論文  参考訳（メタデータ） (2024-03-19T17:58:02Z)
• PACE: Human and Camera Motion Estimation from in-the-wild Videos [113.76041632912577]
  本研究では,移動カメラのグローバルシーンにおける人間の動きを推定する手法を提案する。 これは、ビデオ中の人間とカメラの動きが混ざり合っているため、非常に難しい作業である。 本研究では,人体とカメラの動作を前景の人体と背景の両方の特徴を用いてアンハングリングする共同最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T19:04:14Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• Camera Motion Agnostic 3D Human Pose Estimation [8.090223360924004]
  本稿では,世界座標系で定義された3次元人間のポーズとメッシュを予測するためのカメラモーション非依存アプローチを提案する。 本稿では,局所的なポーズ列から大域的な動き列を予測する双方向ゲート再帰単位(GRU)に基づくネットワークを提案する。 移動カメラ環境において構築された3DPWと合成データセットを用いて評価を行う。
  論文  参考訳（メタデータ） (2021-12-01T08:22:50Z)
• Estimating Egocentric 3D Human Pose in Global Space [70.7272154474722]
  本稿では,魚眼カメラを用いた自己中心型3次元体姿勢推定法を提案する。 提案手法は, 定量的, 定性的に, 最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-04-27T20:01:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。