論文の概要: EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams

• arxiv url: http://arxiv.org/abs/2404.08640v1
• Date: Fri, 12 Apr 2024 17:59:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 14:18:01.720321
• Title: EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams
• Title（参考訳）: EventEgo3D:エゴセントリックなイベントストリームからの3Dヒューマンモーションキャプチャ
• Authors: Christen Millerdurai, Hiroyasu Akada, Jian Wang, Diogo Luvizon, Christian Theobalt, Vladislav Golyanik,
• Abstract要約: 本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。 イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。 我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
• 参考スコア（独自算出の注目度）: 59.77837807004765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monocular egocentric 3D human motion capture is a challenging and actively researched problem. Existing methods use synchronously operating visual sensors (e.g. RGB cameras) and often fail under low lighting and fast motions, which can be restricting in many applications involving head-mounted devices. In response to the existing limitations, this paper 1) introduces a new problem, i.e., 3D human motion capture from an egocentric monocular event camera with a fisheye lens, and 2) proposes the first approach to it called EventEgo3D (EE3D). Event streams have high temporal resolution and provide reliable cues for 3D human motion capture under high-speed human motions and rapidly changing illumination. The proposed EE3D framework is specifically tailored for learning with event streams in the LNES representation, enabling high 3D reconstruction accuracy. We also design a prototype of a mobile head-mounted device with an event camera and record a real dataset with event observations and the ground-truth 3D human poses (in addition to the synthetic dataset). Our EE3D demonstrates robustness and superior 3D accuracy compared to existing solutions across various challenging experiments while supporting real-time 3D pose update rates of 140Hz.
• Abstract（参考訳）: 単眼のエゴセントリックな3Dモーションキャプチャは、挑戦的で活発に研究されている問題である。 既存の方法は、同期的に動作する視覚センサー(例えばRGBカメラ)を使用し、低照度と高速な動作で失敗することが多く、ヘッドマウントデバイスを含む多くのアプリケーションで制限される可能性がある。 既存の制限に応えて,本論文は, 1)魚眼レンズ付き自我中心型単眼イベントカメラからの3次元モーションキャプチャーという新しい問題を導入する。 EventEgo3D (EE3D) と呼ばれる最初のアプローチを提案する。 イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。 提案するEE3Dフレームワークは,LNES表現におけるイベントストリームの学習に特化して,高い3D再構成精度を実現する。 また、イベントカメラを備えた携帯型ヘッドマウントデバイスのプロトタイプを設計し、実際のデータセットにイベント観測と地上3D人間のポーズ(合成データセットに加えて)を記録する。 我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、様々な挑戦的な実験における既存のソリューションと比較して、堅牢性と優れた3D精度を示す。

関連論文リスト

• E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
  イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。 露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。 提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
  論文  参考訳（メタデータ） (2024-10-22T13:17:20Z)
• MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
  我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。 MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。 モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
  論文  参考訳（メタデータ） (2024-10-10T08:19:47Z)
• ExFMan: Rendering 3D Dynamic Humans with Hybrid Monocular Blurry Frames and Events [7.820081911598502]
  ハイブリットフレームベースのRGBとバイオインスパイアされたイベントカメラを用いて,高品質な人間を高速動作でレンダリングする,最初のニューラルレンダリングフレームワークであるExFManを提案する。 まず、標準空間における3次元物体の速度場を定式化し、それを画像空間に描画して、動きのぼやけのある身体部位を識別する。 次に,2つの新たな損失,すなわちベロシティ対応光度損失とベロシティ関連事象損失を提案し,ニューラル・ヒューマンを両モードで最適化する。
  論文  参考訳（メタデータ） (2024-09-21T10:58:01Z)
• 3D Human Scan With A Moving Event Camera [7.734104968315144]
  イベントカメラは高時間分解能と高ダイナミックレンジの利点がある。 本稿では,3次元ポーズ推定とヒューマンメッシュ復元のためのイベントベース手法を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:34:24Z)
• HULC: 3D Human Motion Capture with Pose Manifold Sampling and Dense Contact Guidance [82.09463058198546]
  シーンインタラクションを備えたマーカーレスモノクロ3Dモーションキャプチャ(MoCap)は、拡張現実、ロボティクス、仮想アバター生成に関連する挑戦的な研究課題である。 シーン形状を認識した3DヒューマンMoCapの新しいアプローチであるHULCを提案する。
  論文  参考訳（メタデータ） (2022-05-11T17:59:31Z)
• Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
  我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。 様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
  論文  参考訳（メタデータ） (2021-04-30T17:58:07Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
  単眼ビデオからの3d手ポーズ推定は、長年の課題である。 我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。 従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
  論文  参考訳（メタデータ） (2020-12-11T16:45:34Z)
• E3D: Event-Based 3D Shape Reconstruction [19.823758341937605]
  3D形状の再構築は、拡張現実/仮想現実の主要なコンポーネントです。 RGB、RGB-Dおよびライダーのセンサーに基づく前の解決は力およびデータ集中的です。 我々は,イベントカメラ,低消費電力センサ,レイテンシ,データ費用の3次元再構成にアプローチした。
  論文  参考訳（メタデータ） (2020-12-09T18:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。