論文の概要: Decoupling Human and Camera Motion from Videos in the Wild

• arxiv url: http://arxiv.org/abs/2302.12827v2
• Date: Mon, 20 Mar 2023 22:11:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 23:36:19.892030
• Title: Decoupling Human and Camera Motion from Videos in the Wild
• Title（参考訳）: 野生の動画から人間とカメラの動きを分離する
• Authors: Vickie Ye, Georgios Pavlakos, Jitendra Malik, Angjoo Kanazawa
• Abstract要約: 本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
• 参考スコア（独自算出の注目度）: 67.39432972193929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a method to reconstruct global human trajectories from videos in the wild. Our optimization method decouples the camera and human motion, which allows us to place people in the same world coordinate frame. Most existing methods do not model the camera motion; methods that rely on the background pixels to infer 3D human motion usually require a full scene reconstruction, which is often not possible for in-the-wild videos. However, even when existing SLAM systems cannot recover accurate scene reconstructions, the background pixel motion still provides enough signal to constrain the camera motion. We show that relative camera estimates along with data-driven human motion priors can resolve the scene scale ambiguity and recover global human trajectories. Our method robustly recovers the global 3D trajectories of people in challenging in-the-wild videos, such as PoseTrack. We quantify our improvement over existing methods on 3D human dataset Egobody. We further demonstrate that our recovered camera scale allows us to reason about motion of multiple people in a shared coordinate frame, which improves performance of downstream tracking in PoseTrack. Code and video results can be found at https://vye16.github.io/slahmr.
• Abstract（参考訳）: 野生の映像から全人類の軌跡を再構築する方法を提案する。 私たちの最適化方法は、カメラと人間の動作を分離するので、同じ世界の座標フレームに人を配置することができます。 既存の手法のほとんどはカメラの動きをモデル化していないが、3d人間の動きを推定するために背景ピクセルに依存する手法は通常、フルシーンの再構成を必要とする。 しかし、既存のSLAMシステムが正確なシーン再構成を回復できない場合でも、背景画素の動きはカメラの動きを制限するのに十分な信号を与える。 相対カメラ推定とデータ駆動型人間の動きの先行推定は、シーンスケールのあいまいさを解消し、地球規模の人間の軌道を復元できることを示す。 提案手法は,posatrackなどの実写ビデオにおいて,人々のグローバルな3dトラジェクタをロバストに復元する。 3次元データセットEgobodyの既存手法に対する改善点を定量化する。 さらに、回収したカメラスケールによって、共有座標フレーム内の複数の人の動きを推論できることを実証し、PoseTrackにおける下流追跡の性能を向上させる。 コードとビデオの結果はhttps://vye16.github.io/slahmrで確認できる。

関連論文リスト

• Motion Diffusion-Guided 3D Global HMR from a Dynamic Camera [3.6948631725065355]
  拡散最適化を用いた新しい3次元大域HMR法DiffOptを提案する。 我々の重要な洞察は、動き拡散モデル(MDM)のような人間の動き生成の最近の進歩は、コヒーレントな人間の動きの強い先行を含むことである。 我々はDiffOptをGlobal 3D Human Pose and Shape in the Wildの電磁データベースからビデオシーケンスで検証した。
  論文  参考訳（メタデータ） (2024-11-15T21:09:40Z)
• World-Grounded Human Motion Recovery via Gravity-View Coordinates [60.618543026949226]
  本研究では,新しい重力-視座標系における人間のポーズ推定手法を提案する。 提案したGVシステムは、ビデオフレーム毎に自然に重力に整合し、一意に定義されている。 提案手法は,カメラ空間と地上設定の両方でよりリアルな動きを再現し,精度と速度の両方で最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-09-10T17:25:47Z)
• HumanVid: Demystifying Training Data for Camera-controllable Human Image Animation [64.37874983401221]
  人間の画像アニメーションに適した,最初の大規模高品質データセットであるHumanVidを紹介する。 実世界のデータについては、インターネットから大量の実世界のビデオをコンパイルします。 合成データとして,10K3Dアバターを収集し,体形,肌のテクスチャ,衣服などの既存の資産を利用した。
  論文  参考訳（メタデータ） (2024-07-24T17:15:58Z)
• TRAM: Global Trajectory and Motion of 3D Humans from in-the-wild Videos [46.11545135199594]
  TRAMはSLAMを強固にし、ダイナミックな人間の存在下でカメラの動きを回復させる。 人間の運動運動を抑えるためのビデオトランスモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-26T03:10:45Z)
• WHAM: Reconstructing World-grounded Humans with Accurate 3D Motion [43.95997922499137]
  WHAM(World-grounded Humans with Accurate Motion)は、ビデオから世界座標系で3次元の人間の動きを再構成する。 SLAM法から推定されるカメラ角速度と人間の動きを用いて、身体のグローバルな軌跡を推定する。 複数のWildベンチマークで、既存の3Dモーションリカバリ手法よりも優れています。
  論文  参考訳（メタデータ） (2023-12-12T18:57:46Z)
• PACE: Human and Camera Motion Estimation from in-the-wild Videos [113.76041632912577]
  本研究では,移動カメラのグローバルシーンにおける人間の動きを推定する手法を提案する。 これは、ビデオ中の人間とカメラの動きが混ざり合っているため、非常に難しい作業である。 本研究では,人体とカメラの動作を前景の人体と背景の両方の特徴を用いてアンハングリングする共同最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T19:04:14Z)
• TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments [106.80978555346958]
  現在の方法では、地球上の座標で動く人間を確実に推定することはできない。 TRACEは、ダイナミックカメラからグローバル座標における3D人間の共同回収と追跡を行う最初の1段階の手法である。 トラッキングとHPSベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-06-05T13:00:44Z)
• GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
  ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。 われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。 従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。