論文の概要: YeLan: Event Camera-Based 3D Human Pose Estimation for
Technology-Mediated Dancing in Challenging Environments with Comprehensive
Motion-to-Event Simulator
- arxiv url: http://arxiv.org/abs/2301.06648v1
- Date: Tue, 17 Jan 2023 00:55:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 15:03:32.988550
- Title: YeLan: Event Camera-Based 3D Human Pose Estimation for
Technology-Mediated Dancing in Challenging Environments with Comprehensive
Motion-to-Event Simulator
- Title(参考訳): yelan: 総合的なモーション・トゥ・イベントシミュレータを用いた挑戦的環境での3次元人物ポーズ推定
- Authors: Zhongyang Zhang, Kaidong Chai, Haowen Yu, Ramzi Majaj, Francesca
Walsh, Edward Wang, Upal Mahbub, Hava Siegelmann, Donghyun Kim, Tauhidur
Rahman
- Abstract要約: 既存のソリューションは主にダンスゲーム用のRGBまたはRGB-Depthカメラに基づいている。
超低レイテンシ、エネルギー効率、広ダイナミックレンジ特性により、イベントカメラはこれらの欠点を克服するための有望なソリューションである。
イベントカメラを用いた3次元人物ポーズ推定(HPE)システムYeLanを提案する。
- 参考スコア(独自算出の注目度): 2.7182301203334642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a beloved sport worldwide, dancing is getting integrated into traditional
and virtual reality-based gaming platforms nowadays. It opens up new
opportunities in the technology-mediated dancing space. These platforms
primarily rely on passive and continuous human pose estimation as an input
capture mechanism. Existing solutions are mainly based on RGB or RGB-Depth
cameras for dance games. The former suffers in low-lighting conditions due to
the motion blur and low sensitivity, while the latter is too power-hungry, has
a low frame rate, and has limited working distance. With ultra-low latency,
energy efficiency, and wide dynamic range characteristics, the event camera is
a promising solution to overcome these shortcomings. We propose YeLan, an event
camera-based 3-dimensional human pose estimation(HPE) system that survives
low-lighting and dynamic background contents. We collected the world's first
event camera dance dataset and developed a fully customizable motion-to-event
physics-aware simulator. YeLan outperforms the baseline models in these
challenging conditions and demonstrated robustness against different types of
clothing, background motion, viewing angle, occlusion, and lighting
fluctuations.
- Abstract(参考訳): 世界中で愛されるスポーツとして、ダンスは伝統的なバーチャルリアリティーベースのゲームプラットフォームに統合されつつある。
テクノロジーが媒介するダンススペースに新たな機会を開く。
これらのプラットフォームは主に、入力キャプチャメカニズムとして、受動的かつ連続的な人間のポーズ推定に依存している。
既存のソリューションは主にダンスゲーム用のRGBまたはRGB-Depthカメラに基づいている。
前者は動きのぼやけや感度の低さにより低照度状態に苦しむが、後者は電力不足であり、フレームレートが低く、作業距離が限られている。
超低レイテンシ、エネルギー効率、広いダイナミックレンジ特性により、イベントカメラはこれらの欠点を克服するための有望なソリューションである。
本稿では,イベントカメラを用いた3次元人物ポーズ推定(hpe)システムであるyelanを提案する。
我々は、世界初のイベントカメラダンスデータセットを収集し、完全にカスタマイズ可能な物理認識シミュレータを開発した。
YeLanは、これらの挑戦的な条件下でベースラインモデルより優れており、さまざまなタイプの衣服、背景の動き、視角、閉塞、照明変動に対して堅牢性を示している。
関連論文リスト
- Panoramas from Photons [22.437940699523082]
低光域や高ダイナミックレンジといった困難な条件下での極端なシーンの動きを推定できる手法を提案する。
本手法は, ファクト後のフレームを階層的にグループ化し, 集約することに依存する。
高速動作と極低光下での高画質パノラマの創出と,カスタム単光子カメラの試作による超高分解能化を実証した。
論文 参考訳(メタデータ) (2023-09-07T16:07:31Z) - Event-based Simultaneous Localization and Mapping: A Comprehensive
Survey [67.89650389832147]
ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。
Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
論文 参考訳(メタデータ) (2023-04-19T16:21:14Z) - EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision [50.060055525889915]
イベントカメラは3次元ポーズ推定において大きな可能性を示し、特に低消費電力で高速な動きと高ダイナミックレンジの課題に対処する。
特に手が動かない場合に手の動き情報をエンコードするイベント表現を設計することは困難である。
本稿では,手振り推定のためのイベント・ツー・Poseモジュールにおける新しい手振り表現を用いたEvHandPoseを提案する。
論文 参考訳(メタデータ) (2023-03-06T03:27:17Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳(メタデータ) (2022-06-23T17:59:53Z) - TimeReplayer: Unlocking the Potential of Event Cameras for Video
Interpolation [78.99283105497489]
イベントカメラは、任意に複雑な動きのあるビデオを可能にする新しいデバイスである。
本稿では,コモディティカメラが捉えた映像とイベントとを補間するTimeReplayerアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-25T18:57:42Z) - A Preliminary Research on Space Situational Awareness Based on Event
Cameras [8.27218838055049]
イベントカメラは、従来のカメラとは異なる新しいタイプのセンサーである。
トリガーイベントは、画素に照射された明るさの変化である。
従来のカメラと比較して、イベントカメラは高時間分解能、低レイテンシ、高ダイナミックレンジ、低帯域幅、低消費電力の利点がある。
論文 参考訳(メタデータ) (2022-03-24T14:36:18Z) - TUM-VIE: The TUM Stereo Visual-Inertial Event Dataset [50.8779574716494]
イベントカメラはバイオインスパイアされた視覚センサーで、ピクセルごとの明るさの変化を測定する。
これらは、低レイテンシ、高ダイナミックレンジ、高時間分解能、低消費電力など、従来のフレームベースのカメラよりも多くの利点を提供する。
イベントカメラを用いた3次元認識・ナビゲーションアルゴリズムの開発を促進するため,TUM-VIEデータセットを提案する。
論文 参考訳(メタデータ) (2021-08-16T19:53:56Z) - E3D: Event-Based 3D Shape Reconstruction [19.823758341937605]
3D形状の再構築は、拡張現実/仮想現実の主要なコンポーネントです。
RGB、RGB-Dおよびライダーのセンサーに基づく前の解決は力およびデータ集中的です。
我々は,イベントカメラ,低消費電力センサ,レイテンシ,データ費用の3次元再構成にアプローチした。
論文 参考訳(メタデータ) (2020-12-09T18:23:21Z) - UNOC: Understanding Occlusion for Embodied Presence in Virtual Reality [12.349749717823736]
本稿では,内装体追跡のための新しいデータ駆動型フレームワークを提案する。
まず、体と指の両方の動作で、大規模なモーションキャプチャーデータセットを収集する。
次に, 被写体部を推定する深層ニューラルネットワークを学習し, 被写体部から被写体部を抽出し, 被写体部から被写体部を推定する。
論文 参考訳(メタデータ) (2020-11-12T09:31:09Z) - PhysCap: Physically Plausible Monocular 3D Motion Capture in Real Time [89.68248627276955]
シングルカラーカメラからのマーカレス3Dモーションキャプチャは、大きな進歩を遂げた。
しかし、これは非常に困難な問題であり、深刻な問題である。
我々はPhysCapについて紹介する。PhysCapは物理的に可塑性でリアルタイムでマーカーのない人間の3Dモーションキャプチャのための最初のアルゴリズムである。
論文 参考訳(メタデータ) (2020-08-20T10:46:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。