論文の概要: E-3DPSM: A State Machine for Event-Based Egocentric 3D Human Pose Estimation
- arxiv url: http://arxiv.org/abs/2604.08543v1
- Date: Thu, 09 Apr 2026 17:59:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:06.080266
- Title: E-3DPSM: A State Machine for Event-Based Egocentric 3D Human Pose Estimation
- Title(参考訳): E-3DPSM: イベントベースのエゴセントリックな3次元人文推定のための状態マシン
- Authors: Mayur Deshmukh, Hiroyasu Akada, Helge Rhodin, Christian Theobalt, Vladislav Golyanik,
- Abstract要約: イベントカメラは、ヘッドマウントデバイスからの単眼のエゴセントリックな3Dポーズ推定において利点がある。
既存の手法では3次元推定精度が低く、多くのアプリケーションでは不十分である。
本稿では,イベント駆動型連続ポーズ状態マシンであるE-3DPSMを紹介する。
- 参考スコア(独自算出の注目度): 73.63705002652638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras offer multiple advantages in monocular egocentric 3D human pose estimation from head-mounted devices, such as millisecond temporal resolution, high dynamic range, and negligible motion blur. Existing methods effectively leverage these properties, but suffer from low 3D estimation accuracy, insufficient in many applications (e.g., immersive VR/AR). This is due to the design not being fully tailored towards event streams (e.g., their asynchronous and continuous nature), leading to high sensitivity to self-occlusions and temporal jitter in the estimates. This paper rethinks the setting and introduces E-3DPSM, an event-driven continuous pose state machine for event-based egocentric 3D human pose estimation. E-3DPSM aligns continuous human motion with fine-grained event dynamics; it evolves latent states and predicts continuous changes in 3D joint positions associated with observed events, which are fused with direct 3D human pose predictions, leading to stable and drift-free final 3D pose reconstructions. E-3DPSM runs in real-time at 80 Hz on a single workstation and sets a new state of the art in experiments on two benchmarks, improving accuracy by up to 19% (MPJPE) and temporal stability by up to 2.7x. See our project page for the source code and trained models.
- Abstract(参考訳): イベントカメラは、ミリ秒時間分解能、高ダイナミックレンジ、無視可能な動きぼけなどのヘッドマウントデバイスから、単眼のエゴセントリックな3Dポーズ推定において、複数の利点を提供する。
既存の手法はこれらの特性を効果的に活用するが、3次元推定精度が低く、多くのアプリケーション(例えば没入型VR/AR)では不十分である。
これは、イベントストリーム(例えば、非同期で連続的な性質)に対して完全に調整されていないためである。
本稿では,この設定を再考し,イベント駆動型連続ポーズ状態マシンであるE-3DPSMを紹介する。
E-3DPSMは、連続した人間の動きと微妙な事象のダイナミクスを一致させ、潜伏状態を進化させ、観察された事象に関連する3D関節位置の連続的な変化を予測し、直接的な3D人間のポーズ予測と融合し、安定的でドリフトのない最後の3Dポーズの再構築をもたらす。
E-3DPSMは1つのワークステーション上で80Hzでリアルタイムに動作し、2つのベンチマークの実験において新しい最先端の状態を設定し、精度を最大19%(MPJPE)、時間安定性を最大2.7倍改善した。
ソースコードとトレーニングされたモデルについては、プロジェクトページを参照してください。
関連論文リスト
- DreamPose3D: Hallucinative Diffusion with Prompt Learning for 3D Human Pose Estimation [18.240580699213197]
本研究では,3次元ポーズ推定のための行動認識推論と時間的想像力を組み合わせた拡散型フレームワークDreamPose3Dを紹介する。
DreamPose3Dは2次元ポーズシーケンスから抽出したタスク関連アクションプロンプトを用いて動的にデノナイズ処理を条件付け、ハイレベルなインテントをキャプチャする。
本研究では,関節間の構造的関係を効果的にモデル化するために,運動的関節親和性を注目機構に組み込んだ表現エンコーダを提案する。
幻覚的ポーズデコーダは、トレーニング中の時間的コヒーレントな3Dポーズを予測する。
論文 参考訳(メタデータ) (2025-11-12T17:31:41Z) - StarPose: 3D Human Pose Estimation via Spatial-Temporal Autoregressive Diffusion [29.682018018059043]
StarPoseは3次元人間のポーズ推定のための自己回帰拡散フレームワークである。
歴史的3Dポーズの予測と空間的物理的ガイダンスが組み込まれている。
人間の3次元ポーズ推定における精度と時間的一貫性を向上する。
論文 参考訳(メタデータ) (2025-08-04T04:50:05Z) - Bring Your Rear Cameras for Egocentric 3D Human Pose Estimation [69.68568832269285]
ヘッドマウントデバイス(HMD)の前に設置したカメラを用いて,エゴセントリックな3次元ポーズ推定を積極的に研究している。
自己閉塞性や視野範囲の制限により、フルボディトラッキングが同じであるかどうかは不明だ。
マルチビュー情報と熱マップの不確実性を用いて2次元関節熱マップ推定を改良するトランスフォーマーに基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2025-03-14T17:59:54Z) - EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams [59.77837807004765]
本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。
イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。
我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
論文 参考訳(メタデータ) (2024-04-12T17:59:47Z) - STRIDE: Single-video based Temporally Continuous Occlusion-Robust 3D Pose Estimation [27.854074900345314]
本研究では,STIDE (Single-video based TempoRally contInuous Occlusion-Robust 3D Estimation Pose) を提案する。
筆者らのフレームワークは,モデルに依存しない柔軟性を示し,既製の3Dポーズ推定手法を用いて,堅牢性と時間的整合性を向上させる。
論文 参考訳(メタデータ) (2023-12-24T11:05:10Z) - Human POSEitioning System (HPS): 3D Human Pose Estimation and
Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。
最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。
hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
論文 参考訳(メタデータ) (2021-03-31T17:58:31Z) - Kinematic-Structure-Preserved Representation for Unsupervised 3D Human
Pose Estimation [58.72192168935338]
大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。
本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。
提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
論文 参考訳(メタデータ) (2020-06-24T23:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。