論文の概要: World-Grounded Human Motion Recovery via Gravity-View Coordinates

• arxiv url: http://arxiv.org/abs/2409.06662v1
• Date: Tue, 10 Sep 2024 17:25:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 16:39:07.914501
• Title: World-Grounded Human Motion Recovery via Gravity-View Coordinates
• Title（参考訳）: 重力ビュー座標による世界周囲の人間の運動回復
• Authors: Zehong Shen, Huaijin Pi, Yan Xia, Zhi Cen, Sida Peng, Zechen Hu, Hujun Bao, Ruizhen Hu, Xiaowei Zhou,
• Abstract要約: 本研究では,新しい重力-視座標系における人間のポーズ推定手法を提案する。 提案したGVシステムは、ビデオフレーム毎に自然に重力に整合し、一意に定義されている。 提案手法は,カメラ空間と地上設定の両方でよりリアルな動きを再現し,精度と速度の両方で最先端の手法より優れる。
• 参考スコア（独自算出の注目度）: 60.618543026949226
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a novel method for recovering world-grounded human motion from monocular video. The main challenge lies in the ambiguity of defining the world coordinate system, which varies between sequences. Previous approaches attempt to alleviate this issue by predicting relative motion in an autoregressive manner, but are prone to accumulating errors. Instead, we propose estimating human poses in a novel Gravity-View (GV) coordinate system, which is defined by the world gravity and the camera view direction. The proposed GV system is naturally gravity-aligned and uniquely defined for each video frame, largely reducing the ambiguity of learning image-pose mapping. The estimated poses can be transformed back to the world coordinate system using camera rotations, forming a global motion sequence. Additionally, the per-frame estimation avoids error accumulation in the autoregressive methods. Experiments on in-the-wild benchmarks demonstrate that our method recovers more realistic motion in both the camera space and world-grounded settings, outperforming state-of-the-art methods in both accuracy and speed. The code is available at https://zju3dv.github.io/gvhmr/.
• Abstract（参考訳）: 本研究では,モノクロ映像から人間の世界の動きを復元する新しい手法を提案する。 主な課題は、列によって異なる世界座標系を定義することの曖昧さにある。 従来のアプローチでは、相対的な動きを自己回帰的に予測することでこの問題を緩和しようとするが、誤りを蓄積する傾向にある。 代わりに、世界重力とカメラビューの方向で定義される新しい重力ビュー座標系において、人間のポーズを推定する手法を提案する。 提案したGVシステムは,ビデオフレーム毎に自然に重力に整合し,一意に定義され,画像位置マッピングの学習のあいまいさを大幅に低減する。 推定されたポーズは、カメラ回転を用いて世界座標系に戻され、グローバルなモーションシーケンスを形成する。 さらに、フレーム単位の推定は自動回帰法におけるエラーの蓄積を避ける。 In-theldベンチマークの実験により、我々の手法は、カメラ空間とワールドグラウンドの設定の両方においてよりリアルな動きを回復し、精度とスピードの両方で最先端の手法より優れていることが示された。 コードはhttps://zju3dv.github.io/gvhmr/で公開されている。

関連論文リスト

• COIN: Control-Inpainting Diffusion Prior for Human and Camera Motion Estimation [98.05046790227561]
  COINは、人間の動きとカメラの動きを細粒度に制御できる、コントロール・インパインティング・モーション拡散である。 COINは、グローバルな人間の動き推定とカメラの動き推定という観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-08-29T10:36:29Z)
• WHAM: Reconstructing World-grounded Humans with Accurate 3D Motion [43.95997922499137]
  WHAM(World-grounded Humans with Accurate Motion)は、ビデオから世界座標系で3次元の人間の動きを再構成する。 SLAM法から推定されるカメラ角速度と人間の動きを用いて、身体のグローバルな軌跡を推定する。 複数のWildベンチマークで、既存の3Dモーションリカバリ手法よりも優れています。
  論文  参考訳（メタデータ） (2023-12-12T18:57:46Z)
• W-HMR: Monocular Human Mesh Recovery in World Space with Weak-Supervised Calibration [57.37135310143126]
  モノクロ画像からの3次元運動回復のための従来の手法は、カメラ座標に依存するため、しばしば不足する。 W-HMRは、身体の歪み情報に基づいて「適切な」焦点長を予測する弱教師付き校正法である。 また,世界空間における可視的再構築のために,身体の向きを補正する OrientCorrect モジュールを提案する。
  論文  参考訳（メタデータ） (2023-11-29T09:02:07Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
  ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。 われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。 従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:54Z)
• Camera Motion Agnostic 3D Human Pose Estimation [8.090223360924004]
  本稿では,世界座標系で定義された3次元人間のポーズとメッシュを予測するためのカメラモーション非依存アプローチを提案する。 本稿では,局所的なポーズ列から大域的な動き列を予測する双方向ゲート再帰単位(GRU)に基づくネットワークを提案する。 移動カメラ環境において構築された3DPWと合成データセットを用いて評価を行う。
  論文  参考訳（メタデータ） (2021-12-01T08:22:50Z)
• Gravity-Aware Monocular 3D Human-Object Reconstruction [73.25185274561139]
  本稿では,共同マーカーレス3次元モーションキャプチャとモノクロRGB映像からの物体軌跡推定のための新しい手法を提案する。 自由飛行中に部分的に観察された物体を含むシーンに焦点を当てた。 実験では, 各種計測値を用いた3次元モーションキャプチャにおいて, 最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-08-19T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。