論文の概要: TRAM: Global Trajectory and Motion of 3D Humans from in-the-wild Videos
- arxiv url: http://arxiv.org/abs/2403.17346v2
- Date: Mon, 2 Sep 2024 17:30:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-04 19:02:17.322217
- Title: TRAM: Global Trajectory and Motion of 3D Humans from in-the-wild Videos
- Title（参考訳）: TRAM:3D映像から見る人間の世界的軌道と動き
- Authors: Yufu Wang, Ziyun Wang, Lingjie Liu, Kostas Daniilidis,
- Abstract要約: TRAMはSLAMを強固にし、ダイナミックな人間の存在下でカメラの動きを回復させる。
人間の運動運動を抑えるためのビデオトランスモデルを提案する。
- 参考スコア（独自算出の注目度）: 46.11545135199594
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose TRAM, a two-stage method to reconstruct a human's global trajectory and motion from in-the-wild videos. TRAM robustifies SLAM to recover the camera motion in the presence of dynamic humans and uses the scene background to derive the motion scale. Using the recovered camera as a metric-scale reference frame, we introduce a video transformer model (VIMO) to regress the kinematic body motion of a human. By composing the two motions, we achieve accurate recovery of 3D humans in the world space, reducing global motion errors by a large margin from prior work. https://yufu-wang.github.io/tram4d/
- Abstract（参考訳）: 我々は,TRAMを提案する。TRAMは人間のグローバルな軌道と動きを,線内ビデオから再構成する2段階の手法である。
TRAMはSLAMを強固にし、ダイナミックな人間の存在下でカメラの動きを回復させ、シーン背景を用いてモーションスケールを導出する。
回収したカメラをメートルスケールの基準フレームとして使用し、人間の運動運動を抑えるためのビデオトランスフォーマーモデル(VIMO)を導入する。
これら2つの動きを合成することにより、世界空間における3次元人間の正確な回復を実現し、これまでの作業との大きな差でグローバルな動き誤差を低減できる。
https://yufu-wang.github.io/tram4d/
関連論文リスト
- Deblur-Avatar: Animatable Avatars from Motion-Blurred Monocular Videos [64.10307207290039]
デアバター(De-Avatar)は、モーションブルモノクロビデオ入力から高忠実でアニマタブルな3次元人間のアバターをモデリングするための新しいフレームワークである。
論文 参考訳（メタデータ） (2025-01-23T02:31:57Z) - Move-in-2D: 2D-Conditioned Human Motion Generation [54.067588636155115]
そこで我々は,シーンイメージに条件付けされた人間の動作シーケンスを生成する新しい手法であるMove-in-2Dを提案する。
本手法はシーンイメージとテキストプロンプトの両方を入力として受け入れ,シーンに合わせた動作シーケンスを生成する。
論文 参考訳（メタデータ） (2024-12-17T18:58:07Z) - Motion Diffusion-Guided 3D Global HMR from a Dynamic Camera [3.6948631725065355]
拡散最適化を用いた新しい3次元大域HMR法DiffOptを提案する。
我々の重要な洞察は、動き拡散モデル(MDM)のような人間の動き生成の最近の進歩は、コヒーレントな人間の動きの強い先行を含むことである。
我々はDiffOptをGlobal 3D Human Pose and Shape in the Wildの電磁データベースからビデオシーケンスで検証した。
論文 参考訳（メタデータ） (2024-11-15T21:09:40Z) - WHAM: Reconstructing World-grounded Humans with Accurate 3D Motion [43.95997922499137]
WHAM(World-grounded Humans with Accurate Motion)は、ビデオから世界座標系で3次元の人間の動きを再構成する。
SLAM法から推定されるカメラ角速度と人間の動きを用いて、身体のグローバルな軌跡を推定する。
複数のWildベンチマークで、既存の3Dモーションリカバリ手法よりも優れています。
論文 参考訳（メタデータ） (2023-12-12T18:57:46Z) - PACE: Human and Camera Motion Estimation from in-the-wild Videos [113.76041632912577]
本研究では,移動カメラのグローバルシーンにおける人間の動きを推定する手法を提案する。
これは、ビデオ中の人間とカメラの動きが混ざり合っているため、非常に難しい作業である。
本研究では,人体とカメラの動作を前景の人体と背景の両方の特徴を用いてアンハングリングする共同最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-20T19:04:14Z) - Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。
カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
論文 参考訳（メタデータ） (2023-02-24T18:59:15Z) - GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。
われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。
従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
論文 参考訳（メタデータ） (2021-12-02T18:59:54Z) - 3D Human Motion Estimation via Motion Compression and Refinement [27.49664453166726]
我々はRGBビデオシーケンスからスムーズで正確な3次元ポーズとモーション推定を生成する技術を開発した。
本手法は,変動オートエンコーダ(MEVA)による動作推定と呼ばれ,人間の動作の時間的シーケンスをスムーズな動作表現に分解する。
論文 参考訳（メタデータ） (2020-08-09T19:02:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。