論文の概要: EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams
- arxiv url: http://arxiv.org/abs/2404.08640v1
- Date: Fri, 12 Apr 2024 17:59:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 14:18:01.720321
- Title: EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams
- Title(参考訳): EventEgo3D:エゴセントリックなイベントストリームからの3Dヒューマンモーションキャプチャ
- Authors: Christen Millerdurai, Hiroyasu Akada, Jian Wang, Diogo Luvizon, Christian Theobalt, Vladislav Golyanik,
- Abstract要約: 本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。
イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。
我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
- 参考スコア(独自算出の注目度): 59.77837807004765
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monocular egocentric 3D human motion capture is a challenging and actively researched problem. Existing methods use synchronously operating visual sensors (e.g. RGB cameras) and often fail under low lighting and fast motions, which can be restricting in many applications involving head-mounted devices. In response to the existing limitations, this paper 1) introduces a new problem, i.e., 3D human motion capture from an egocentric monocular event camera with a fisheye lens, and 2) proposes the first approach to it called EventEgo3D (EE3D). Event streams have high temporal resolution and provide reliable cues for 3D human motion capture under high-speed human motions and rapidly changing illumination. The proposed EE3D framework is specifically tailored for learning with event streams in the LNES representation, enabling high 3D reconstruction accuracy. We also design a prototype of a mobile head-mounted device with an event camera and record a real dataset with event observations and the ground-truth 3D human poses (in addition to the synthetic dataset). Our EE3D demonstrates robustness and superior 3D accuracy compared to existing solutions across various challenging experiments while supporting real-time 3D pose update rates of 140Hz.
- Abstract(参考訳): 単眼のエゴセントリックな3Dモーションキャプチャは、挑戦的で活発に研究されている問題である。
既存の方法は、同期的に動作する視覚センサー(例えばRGBカメラ)を使用し、低照度と高速な動作で失敗することが多く、ヘッドマウントデバイスを含む多くのアプリケーションで制限される可能性がある。
既存の制限に応えて,本論文は,
1)魚眼レンズ付き自我中心型単眼イベントカメラからの3次元モーションキャプチャーという新しい問題を導入する。
EventEgo3D (EE3D) と呼ばれる最初のアプローチを提案する。
イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。
提案するEE3Dフレームワークは,LNES表現におけるイベントストリームの学習に特化して,高い3D再構成精度を実現する。
また、イベントカメラを備えた携帯型ヘッドマウントデバイスのプロトタイプを設計し、実際のデータセットにイベント観測と地上3D人間のポーズ(合成データセットに加えて)を記録する。
我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、様々な挑戦的な実験における既存のソリューションと比較して、堅牢性と優れた3D精度を示す。
関連論文リスト
- 3D Human Scan With A Moving Event Camera [7.734104968315144]
イベントカメラは高時間分解能と高ダイナミックレンジの利点がある。
本稿では,3次元ポーズ推定とヒューマンメッシュ復元のためのイベントベース手法を提案する。
論文 参考訳(メタデータ) (2024-04-12T14:34:24Z) - D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。
私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
論文 参考訳(メタデータ) (2022-09-19T06:51:02Z) - HULC: 3D Human Motion Capture with Pose Manifold Sampling and Dense
Contact Guidance [82.09463058198546]
シーンインタラクションを備えたマーカーレスモノクロ3Dモーションキャプチャ(MoCap)は、拡張現実、ロボティクス、仮想アバター生成に関連する挑戦的な研究課題である。
シーン形状を認識した3DヒューマンMoCapの新しいアプローチであるHULCを提案する。
論文 参考訳(メタデータ) (2022-05-11T17:59:31Z) - Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。
様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
論文 参考訳(メタデータ) (2021-04-30T17:58:07Z) - Human POSEitioning System (HPS): 3D Human Pose Estimation and
Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。
最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。
hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
論文 参考訳(メタデータ) (2021-03-31T17:58:31Z) - EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
単眼ビデオからの3d手ポーズ推定は、長年の課題である。
我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。
従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
論文 参考訳(メタデータ) (2020-12-11T16:45:34Z) - E3D: Event-Based 3D Shape Reconstruction [19.823758341937605]
3D形状の再構築は、拡張現実/仮想現実の主要なコンポーネントです。
RGB、RGB-Dおよびライダーのセンサーに基づく前の解決は力およびデータ集中的です。
我々は,イベントカメラ,低消費電力センサ,レイテンシ,データ費用の3次元再構成にアプローチした。
論文 参考訳(メタデータ) (2020-12-09T18:23:21Z) - Exploring Severe Occlusion: Multi-Person 3D Pose Estimation with Gated
Convolution [34.301501457959056]
本稿では,2次元関節を3次元に変換するために,ゲート型畳み込みモジュールを用いた時間回帰ネットワークを提案する。
また, 正規化ポーズを大域軌跡に変換するために, 単純かつ効果的な局所化手法も実施した。
提案手法は,最先端の2D-to-3Dポーズ推定法よりも優れている。
論文 参考訳(メタデータ) (2020-10-31T04:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。