論文の概要: EventEgo3D++: 3D Human Motion Capture from a Head-Mounted Event Camera

• arxiv url: http://arxiv.org/abs/2502.07869v1
• Date: Tue, 11 Feb 2025 18:57:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:48:20.177279
• Title: EventEgo3D++: 3D Human Motion Capture from a Head-Mounted Event Camera
• Title（参考訳）: EventEgo3D++: ヘッドマウントイベントカメラによる3Dモーションキャプチャ
• Authors: Christen Millerdurai, Hiroyasu Akada, Jian Wang, Diogo Luvizon, Alain Pagani, Didier Stricker, Christian Theobalt, Vladislav Golyanik,
• Abstract要約: EventEgo3D++は、人間の3Dモーションキャプチャーのための魚眼レンズを備えた単眼のイベントカメラである。 イベントカメラは、高時間分解能のため、高速なシナリオと様々な照明で優れる。 提案手法は,リアルタイム3次元ポーズ更新を140Hzの速度でサポートする。
• 参考スコア（独自算出の注目度）: 64.58147600753382
• License:
• Abstract: Monocular egocentric 3D human motion capture remains a significant challenge, particularly under conditions of low lighting and fast movements, which are common in head-mounted device applications. Existing methods that rely on RGB cameras often fail under these conditions. To address these limitations, we introduce EventEgo3D++, the first approach that leverages a monocular event camera with a fisheye lens for 3D human motion capture. Event cameras excel in high-speed scenarios and varying illumination due to their high temporal resolution, providing reliable cues for accurate 3D human motion capture. EventEgo3D++ leverages the LNES representation of event streams to enable precise 3D reconstructions. We have also developed a mobile head-mounted device (HMD) prototype equipped with an event camera, capturing a comprehensive dataset that includes real event observations from both controlled studio environments and in-the-wild settings, in addition to a synthetic dataset. Additionally, to provide a more holistic dataset, we include allocentric RGB streams that offer different perspectives of the HMD wearer, along with their corresponding SMPL body model. Our experiments demonstrate that EventEgo3D++ achieves superior 3D accuracy and robustness compared to existing solutions, even in challenging conditions. Moreover, our method supports real-time 3D pose updates at a rate of 140Hz. This work is an extension of the EventEgo3D approach (CVPR 2024) and further advances the state of the art in egocentric 3D human motion capture. For more details, visit the project page at https://eventego3d.mpi-inf.mpg.de.
• Abstract（参考訳）: 単眼のエゴセントリックな3Dモーションキャプチャは、特にヘッドマウントデバイスアプリケーションで一般的な低照度と高速動作の条件下では、依然として大きな課題である。 RGBカメラに依存している既存の方法は、これらの条件下では失敗することが多い。 これらの制限に対処するために,魚眼レンズを備えた単眼のイベントカメラを利用した最初のアプローチであるEventEgo3D++を紹介した。 イベントカメラは、高時間分解能のため、高速なシナリオと様々な照明で優れており、正確な3Dモーションキャプチャーのための信頼性の高い手がかりを提供する。 EventEgo3D++は、イベントストリームのLNES表現を活用して、正確な3D再構築を可能にする。 我々はまた、イベントカメラを備えたモバイルヘッドマウントデバイス(HMD)プロトタイプを開発し、合成データセットに加えて、制御されたスタジオ環境とWild環境の両方からの実際のイベント観測を含む包括的なデータセットをキャプチャした。 さらに、より包括的なデータセットを提供するために、HMD装着者の異なる視点を提供するアロセントリックなRGBストリームと、対応するSMPLボディモデルが含まれています。 実験により,EventEgo3D++は,挑戦条件においても既存のソリューションよりも優れた3次元精度とロバスト性を実現することが示された。 さらに,本手法はリアルタイム3次元ポーズ更新を140Hzの速度でサポートする。 この研究はEventEgo3Dアプローチ(CVPR 2024)の拡張であり、エゴセントリックな3Dモーションキャプチャにおける最先端技術をさらに進歩させる。 詳細については、https://eventego3d.mpi-inf.mpg.de.のプロジェクトページを参照してください。

関連論文リスト

• E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
  イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。 露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。 提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
  論文  参考訳（メタデータ） (2024-10-22T13:17:20Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams [59.77837807004765]
  本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。 イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。 我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
  論文  参考訳（メタデータ） (2024-04-12T17:59:47Z)
• 3D Human Scan With A Moving Event Camera [7.734104968315144]
  イベントカメラは高時間分解能と高ダイナミックレンジの利点がある。 本稿では,3次元ポーズ推定とヒューマンメッシュ復元のためのイベントベース手法を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:34:24Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
  単眼ビデオからの3d手ポーズ推定は、長年の課題である。 我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。 従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
  論文  参考訳（メタデータ） (2020-12-11T16:45:34Z)
• E3D: Event-Based 3D Shape Reconstruction [19.823758341937605]
  3D形状の再構築は、拡張現実/仮想現実の主要なコンポーネントです。 RGB、RGB-Dおよびライダーのセンサーに基づく前の解決は力およびデータ集中的です。 我々は,イベントカメラ,低消費電力センサ,レイテンシ,データ費用の3次元再構成にアプローチした。
  論文  参考訳（メタデータ） (2020-12-09T18:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。