論文の概要: TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments

• arxiv url: http://arxiv.org/abs/2306.02850v1
• Date: Mon, 5 Jun 2023 13:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 15:00:24.507411
• Title: TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments
• Title（参考訳）: 動的カメラを用いた3次元環境におけるアバターの5次元時間回帰
• Authors: Yu Sun, Qian Bao, Wu Liu, Tao Mei, Michael J. Black
• Abstract要約: 現在の方法では、地球上の座標で動く人間を確実に推定することはできない。 TRACEは、ダイナミックカメラからグローバル座標における3D人間の共同回収と追跡を行う最初の1段階の手法である。 トラッキングとHPSベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 109.04875074451847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although the estimation of 3D human pose and shape (HPS) is rapidly progressing, current methods still cannot reliably estimate moving humans in global coordinates, which is critical for many applications. This is particularly challenging when the camera is also moving, entangling human and camera motion. To address these issues, we adopt a novel 5D representation (space, time, and identity) that enables end-to-end reasoning about people in scenes. Our method, called TRACE, introduces several novel architectural components. Most importantly, it uses two new "maps" to reason about the 3D trajectory of people over time in camera, and world, coordinates. An additional memory unit enables persistent tracking of people even during long occlusions. TRACE is the first one-stage method to jointly recover and track 3D humans in global coordinates from dynamic cameras. By training it end-to-end, and using full image information, TRACE achieves state-of-the-art performance on tracking and HPS benchmarks. The code and dataset are released for research purposes.
• Abstract（参考訳）: 人間の3次元ポーズと形状(HPS)の推定は急速に進んでいるが、現在の方法では、多くのアプリケーションにとって重要なグローバル座標における人間の移動を確実に推定することはできない。 カメラが動き、人間とカメラの動きが絡み合っている場合、これは特に難しい。 これらの問題に対処するために、私たちは、シーン内の人々に関するエンドツーエンドの推論を可能にする新しい5D表現(空間、時間、アイデンティティ)を採用する。 TRACEと呼ばれるこの手法は,いくつかの新しいアーキテクチャ要素を導入している。 一番重要なのは、カメラと世界座標で3Dの軌跡を判断するために2つの新しい「マップ」を使っていることです。 追加のメモリユニットは、長時間の閉塞時にも、人々の継続的な追跡を可能にする。 TRACEは、ダイナミックカメラからグローバル座標における3D人間の共同回収と追跡を行う最初のワンステージ手法である。 エンドツーエンドにトレーニングし、フルイメージ情報を使用することで、TRACEはトラッキングとHPSベンチマークの最先端のパフォーマンスを達成する。 コードとデータセットは研究目的でリリースされている。

関連論文リスト

• Social-Transmotion: Promptable Human Trajectory Prediction [65.80068316170613]
  Social-Transmotionは、多種多様な視覚的手がかりを利用して人間の行動を予測する、汎用トランスフォーマーベースのモデルである。 提案手法は,JTA,JRDB,歩行者,道路交通のサイクリスト,ETH-UCYなど,複数のデータセットで検証されている。
  論文  参考訳（メタデータ） (2023-12-26T18:56:49Z)
• WHAM: Reconstructing World-grounded Humans with Accurate 3D Motion [43.95997922499137]
  WHAM(World-grounded Humans with Accurate Motion)は、ビデオから世界座標系で3次元の人間の動きを再構成する。 SLAM法から推定されるカメラ角速度と人間の動きを用いて、身体のグローバルな軌跡を推定する。 複数のWildベンチマークで、既存の3Dモーションリカバリ手法よりも優れています。
  論文  参考訳（メタデータ） (2023-12-12T18:57:46Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• HSC4D: Human-centered 4D Scene Capture in Large-scale Indoor-outdoor Space Using Wearable IMUs and LiDAR [51.9200422793806]
  ボディマウントのIMUとLiDARのみを使用することで、HSC4Dは外部機器の制約なしに空間自由となり、マップ無しで事前に構築された地図を作成できる。 人間と環境の関係も研究され、対話をより現実的なものにしている。
  論文  参考訳（メタデータ） (2022-03-17T10:05:55Z)
• Human-Aware Object Placement for Visual Environment Reconstruction [63.14733166375534]
  我々は,モノクラーRGBビデオからシーンの3次元再構成を改善するために,人間とシーンのインタラクションを活用することができることを示す。 私たちのキーとなるアイデアは、人がシーンを移動してそれと対話するにつれて、複数の入力イメージにまたがってHSIを蓄積する、ということです。 シーン再構成は,初期3次元の人物のポーズと形状推定の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-07T18:59:02Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• Exploring Severe Occlusion: Multi-Person 3D Pose Estimation with Gated Convolution [34.301501457959056]
  本稿では,2次元関節を3次元に変換するために,ゲート型畳み込みモジュールを用いた時間回帰ネットワークを提案する。 また, 正規化ポーズを大域軌跡に変換するために, 単純かつ効果的な局所化手法も実施した。 提案手法は,最先端の2D-to-3Dポーズ推定法よりも優れている。
  論文  参考訳（メタデータ） (2020-10-31T04:35:24Z)
• AnimePose: Multi-person 3D pose estimation and animation [9.323689681059504]
  動作中の人間の3Dアニメーションは、人体全体に複数のモーショントラッカーを配置して、すべての手足の動きを追跡するため、非常に難しい。 これは時間がかかり、運動センサー付きエキソスケルトンボディスーツの着用が不快になる可能性がある。 深層学習を用いた2次元映像から複数の人物の3次元アニメーションを生成する方法を提案する。
  論文  参考訳（メタデータ） (2020-02-06T11:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。