Fugu-MT 論文翻訳(概要): Bring Your Rear Cameras for Egocentric 3D Human Pose Estimation

論文の概要: Bring Your Rear Cameras for Egocentric 3D Human Pose Estimation

arxiv url: http://arxiv.org/abs/2503.11652v1
Date: Fri, 14 Mar 2025 17:59:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-17 13:06:55.958109
Title: Bring Your Rear Cameras for Egocentric 3D Human Pose Estimation
Title（参考訳）: エゴセントリックな3D人物推定のためのリアカメラ
Authors: Hiroyasu Akada, Jian Wang, Vladislav Golyanik, Christian Theobalt,
Abstract要約: 本稿では,フルボディトラッキングのためのヘッドマウントデバイス(HMD)設計におけるリアカメラの有用性について検討する。マルチビュー情報と熱マップの不確実性を用いて2次元関節熱マップ推定を改良するトランスフォーマーに基づく新しい手法を提案する。実験の結果,バックビューを備えた新しいカメラ構成は,3次元ポーズトラッキングの優れたサポートを提供することがわかった。
参考スコア（独自算出の注目度）: 67.9563319914377
License:
Abstract: Egocentric 3D human pose estimation has been actively studied using cameras installed in front of a head-mounted device (HMD). While frontal placement is the optimal and the only option for some tasks, such as hand tracking, it remains unclear if the same holds for full-body tracking due to self-occlusion and limited field-of-view coverage. Notably, even the state-of-the-art methods often fail to estimate accurate 3D poses in many scenarios, such as when HMD users tilt their heads upward (a common motion in human activities). A key limitation of existing HMD designs is their neglect of the back of the body, despite its potential to provide crucial 3D reconstruction cues. Hence, this paper investigates the usefulness of rear cameras in the HMD design for full-body tracking. We also show that simply adding rear views to the frontal inputs is not optimal for existing methods due to their dependence on individual 2D joint detectors without effective multi-view integration. To address this issue, we propose a new transformer-based method that refines 2D joint heatmap estimation with multi-view information and heatmap uncertainty, thereby improving 3D pose tracking. Moreover, we introduce two new large-scale datasets, Ego4View-Syn and Ego4View-RW, for a rear-view evaluation. Our experiments show that the new camera configurations with back views provide superior support for 3D pose tracking compared to only frontal placements. The proposed method achieves significant improvement over the current state of the art (>10% on MPJPE). We will release the source code, trained models, and new datasets on our project page https://4dqv.mpi-inf.mpg.de/EgoRear/.
Abstract（参考訳）: ヘッドマウントデバイス(HMD)の前に設置したカメラを用いて,エゴセントリックな3次元ポーズ推定を積極的に研究している。前頭葉の配置は、手追跡などのタスクに最適で唯一の選択肢であるが、自己閉塞性や視野範囲の制限により、全体追跡に同じことが当てはまるかどうかは不明である。特に、最先端の手法でさえ、HMDユーザーが頭を上向きに傾ける(人間の活動における一般的な動き)など、多くのシナリオで正確な3Dポーズを推定できないことが多い。既存のHMD設計の重要な制限は、重要な3D再構築手段を提供する可能性にもかかわらず、身体の後方を無視することである。そこで本研究では,フルボディトラッキングのためのHMD設計におけるリアカメラの有用性について検討する。また,前頭入力に後部ビューを追加するだけでは,個々の2次元関節検出器に依存しているため,実効的なマルチビュー統合を伴わないため,既存の手法では最適ではないことを示す。この問題に対処するため,多視点情報と熱マップの不確実性により2次元の関節熱マップ推定を改良し,3次元ポーズトラッキングを改善するトランスフォーマ方式を提案する。さらに,リアビュー評価のための2つの大規模データセットであるEgo4View-SynとEgo4View-RWを導入する。実験の結果,背面カメラは正面位置のみと比較して3次元ポーズトラッキングが優れていることがわかった。提案手法は,MPJPEの10%以上の精度向上を実現している。ソースコード、トレーニングされたモデル、新しいデータセットをプロジェクトのページ https://4dqv.mpi-inf.mpg.de/EgoRear/ で公開します。

関連論文リスト

SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views [36.02533658048349]
本研究では,3次元テクスチャメッシュを再構成し,スパースビュー画像に対する相対カメラのポーズを推定する新しい手法であるSpaRPを提案する。 SpaRPは2次元拡散モデルから知識を抽出し、それらを微調整し、スパースビュー間の3次元空間関係を暗黙的に推論する。テクスチャ化されたメッシュを生成するのに、わずか20秒しかかからず、カメラは入力ビューにポーズする。
論文参考訳（メタデータ） (2024-08-19T17:53:10Z)
3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
論文参考訳（メタデータ） (2023-12-30T21:21:54Z)
Unsupervised Multi-Person 3D Human Pose Estimation From 2D Poses Alone [4.648549457266638]
本研究は,教師なし多人数2D-3Dポーズ推定の実現可能性について検討した最初の研究の1つである。本手法では,各被験者の2次元ポーズを3次元に独立に持ち上げ,それらを共有3次元座標系で組み合わせる。これにより、ポーズの正確な3D再構成を検索することができる。
論文参考訳（メタデータ） (2023-09-26T11:42:56Z)
UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture [70.59984501516084]
UnrealEgoは、エゴセントリックな3Dポーズ推定のための、新しい大規模博物学データセットである。これは、2台の魚眼カメラを備えた高度な眼鏡のコンセプトに基づいており、制約のない環境で使用することができる。本稿では,ステレオ入力のための2次元キーポイント推定モジュールを考案し,人間のポーズ推定を改善するための簡易かつ効果的なベンチマーク手法を提案する。
論文参考訳（メタデータ） (2022-08-02T17:59:54Z)
MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
論文参考訳（メタデータ） (2021-08-10T18:39:56Z)
Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
論文参考訳（メタデータ） (2021-03-31T17:58:31Z)
CanonPose: Self-Supervised Monocular 3D Human Pose Estimation in the Wild [31.334715988245748]
ラベルのないマルチビューデータから1つの画像3Dポーズ推定器を学習する自己教師型アプローチを提案する。既存のほとんどの方法とは対照的に、校正カメラは必要とせず、移動カメラから学ぶことができる。成功の鍵は、ビューとトレーニングサンプルの情報を混ぜ合わせた、新しく偏見のない再建目標である。
論文参考訳（メタデータ） (2020-11-30T10:42:27Z)
SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文参考訳（メタデータ） (2020-11-02T16:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。