論文の概要: GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras
- arxiv url: http://arxiv.org/abs/2112.01524v1
- Date: Thu, 2 Dec 2021 18:59:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 14:08:22.665292
- Title: GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras
- Title(参考訳): GLAMR: ダイナミックカメラを用いたグローバルオクルージョン対応ヒューマンメッシュリカバリ
- Authors: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, Jan Kautz
- Abstract要約: ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。
われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。
従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
- 参考スコア(独自算出の注目度): 99.07219478953982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present an approach for 3D global human mesh recovery from monocular
videos recorded with dynamic cameras. Our approach is robust to severe and
long-term occlusions and tracks human bodies even when they go outside the
camera's field of view. To achieve this, we first propose a deep generative
motion infiller, which autoregressively infills the body motions of occluded
humans based on visible motions. Additionally, in contrast to prior work, our
approach reconstructs human meshes in consistent global coordinates even with
dynamic cameras. Since the joint reconstruction of human motions and camera
poses is underconstrained, we propose a global trajectory predictor that
generates global human trajectories based on local body movements. Using the
predicted trajectories as anchors, we present a global optimization framework
that refines the predicted trajectories and optimizes the camera poses to match
the video evidence such as 2D keypoints. Experiments on challenging indoor and
in-the-wild datasets with dynamic cameras demonstrate that the proposed
approach outperforms prior methods significantly in terms of motion infilling
and global mesh recovery.
- Abstract(参考訳): ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュ復元手法を提案する。
我々のアプローチは、厳密で長期の閉塞に対して堅牢であり、カメラの視野外でも人間の身体を追跡します。
これを実現するために,我々はまず,可視的動作に基づいて自己回帰的に人体運動に浸透する深部発生運動インフィルを提案する。
さらに,従来の研究とは対照的に,ダイナミックカメラにおいても,人間のメッシュを一貫したグローバル座標で再構築する。
人間の動きとカメラポーズの協調的再構成は制約が低いため,局所的な身体の動きに基づくグローバルな人間の軌跡を生成するグローバルな軌跡予測器を提案する。
予測軌跡をアンカーとして用いることで,予測軌跡を洗練し,カメラのポーズを2Dキーポイントなどの映像証拠に合わせるグローバル最適化フレームワークを提案する。
動的カメラを用いた屋内および車内データセットへの挑戦実験により,提案手法が,モーションインフィルングとグローバルメッシュリカバリの点で,先行手法を大幅に上回っていることが示された。
関連論文リスト
- Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based
Motion Refinement [65.08165593201437]
本研究では,人体と手の動きを同時に推定する単一魚眼カメラを用いて,自我中心型全体モーションキャプチャーを探索する。
この課題は、高品質なデータセットの欠如、魚眼カメラの歪み、人間の身体の自己閉塞など、重大な課題を提起する。
そこで本研究では,魚眼画像の特徴を3次元人体ポーズ予測のための3次元熱マップ表現に変換した魚眼画像の特徴を抽出する手法を提案する。
論文 参考訳(メタデータ) (2023-11-28T07:13:47Z) - PACE: Human and Camera Motion Estimation from in-the-wild Videos [113.76041632912577]
本研究では,移動カメラのグローバルシーンにおける人間の動きを推定する手法を提案する。
これは、ビデオ中の人間とカメラの動きが混ざり合っているため、非常に難しい作業である。
本研究では,人体とカメラの動作を前景の人体と背景の両方の特徴を用いてアンハングリングする共同最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-20T19:04:14Z) - Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。
カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
論文 参考訳(メタデータ) (2023-02-24T18:59:15Z) - Camera Motion Agnostic 3D Human Pose Estimation [8.090223360924004]
本稿では,世界座標系で定義された3次元人間のポーズとメッシュを予測するためのカメラモーション非依存アプローチを提案する。
本稿では,局所的なポーズ列から大域的な動き列を予測する双方向ゲート再帰単位(GRU)に基づくネットワークを提案する。
移動カメラ環境において構築された3DPWと合成データセットを用いて評価を行う。
論文 参考訳(メタデータ) (2021-12-01T08:22:50Z) - Egocentric Human Trajectory Forecasting with a Wearable Camera and
Multi-Modal Fusion [24.149925005674145]
混雑した空間における自我中心型カメラ装着者(自我者)の軌道予測の問題に対処する。
異なるカメラ装着者のデータから得られた軌道予測能力は、視覚障害者のナビゲーションを支援するために転送することができる。
トランスフォーマーをベースとしたエンコーダ・デコーダニューラルネットワークモデルが,カメラ装着者の将来の軌道を予測するために,新しいカスケード型クロスアテンション機構と統合されている。
論文 参考訳(メタデータ) (2021-11-01T14:58:05Z) - Task-Generic Hierarchical Human Motion Prior using VAEs [44.356707509079044]
人間の動きを記述する深い生成モデルは、幅広いコンピュータビジョンやグラフィックタスクに役立てることができる。
本稿では,グローバル・ローカル・ラテント・スペースの組み合わせを用いて,特定のタスクに依存しない複雑な人間の動作を学習する手法を提案する。
映像に基づく人間のポーズ推定を含む様々なタスクにおいて,階層的な動き変動自動エンコーダの有効性を実証する。
論文 参考訳(メタデータ) (2021-06-07T23:11:42Z) - Estimating Egocentric 3D Human Pose in Global Space [70.7272154474722]
本稿では,魚眼カメラを用いた自己中心型3次元体姿勢推定法を提案する。
提案手法は, 定量的, 定性的に, 最先端の手法より優れている。
論文 参考訳(メタデータ) (2021-04-27T20:01:57Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳(メタデータ) (2021-04-08T20:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。