論文の概要: YeLan: Event Camera-Based 3D Human Pose Estimation for Technology-Mediated Dancing in Challenging Environments with Comprehensive Motion-to-Event Simulator

• arxiv url: http://arxiv.org/abs/2301.06648v1
• Date: Tue, 17 Jan 2023 00:55:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 15:03:32.988550
• Title: YeLan: Event Camera-Based 3D Human Pose Estimation for Technology-Mediated Dancing in Challenging Environments with Comprehensive Motion-to-Event Simulator
• Title（参考訳）: yelan: 総合的なモーション・トゥ・イベントシミュレータを用いた挑戦的環境での3次元人物ポーズ推定
• Authors: Zhongyang Zhang, Kaidong Chai, Haowen Yu, Ramzi Majaj, Francesca Walsh, Edward Wang, Upal Mahbub, Hava Siegelmann, Donghyun Kim, Tauhidur Rahman
• Abstract要約: 既存のソリューションは主にダンスゲーム用のRGBまたはRGB-Depthカメラに基づいている。 超低レイテンシ、エネルギー効率、広ダイナミックレンジ特性により、イベントカメラはこれらの欠点を克服するための有望なソリューションである。 イベントカメラを用いた3次元人物ポーズ推定(HPE)システムYeLanを提案する。
• 参考スコア（独自算出の注目度）: 2.7182301203334642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a beloved sport worldwide, dancing is getting integrated into traditional and virtual reality-based gaming platforms nowadays. It opens up new opportunities in the technology-mediated dancing space. These platforms primarily rely on passive and continuous human pose estimation as an input capture mechanism. Existing solutions are mainly based on RGB or RGB-Depth cameras for dance games. The former suffers in low-lighting conditions due to the motion blur and low sensitivity, while the latter is too power-hungry, has a low frame rate, and has limited working distance. With ultra-low latency, energy efficiency, and wide dynamic range characteristics, the event camera is a promising solution to overcome these shortcomings. We propose YeLan, an event camera-based 3-dimensional human pose estimation(HPE) system that survives low-lighting and dynamic background contents. We collected the world's first event camera dance dataset and developed a fully customizable motion-to-event physics-aware simulator. YeLan outperforms the baseline models in these challenging conditions and demonstrated robustness against different types of clothing, background motion, viewing angle, occlusion, and lighting fluctuations.
• Abstract（参考訳）: 世界中で愛されるスポーツとして、ダンスは伝統的なバーチャルリアリティーベースのゲームプラットフォームに統合されつつある。 テクノロジーが媒介するダンススペースに新たな機会を開く。 これらのプラットフォームは主に、入力キャプチャメカニズムとして、受動的かつ連続的な人間のポーズ推定に依存している。 既存のソリューションは主にダンスゲーム用のRGBまたはRGB-Depthカメラに基づいている。 前者は動きのぼやけや感度の低さにより低照度状態に苦しむが、後者は電力不足であり、フレームレートが低く、作業距離が限られている。 超低レイテンシ、エネルギー効率、広いダイナミックレンジ特性により、イベントカメラはこれらの欠点を克服するための有望なソリューションである。 本稿では,イベントカメラを用いた3次元人物ポーズ推定(hpe)システムであるyelanを提案する。 我々は、世界初のイベントカメラダンスデータセットを収集し、完全にカスタマイズ可能な物理認識シミュレータを開発した。 YeLanは、これらの挑戦的な条件下でベースラインモデルより優れており、さまざまなタイプの衣服、背景の動き、視角、閉塞、照明変動に対して堅牢性を示している。

関連論文リスト

• E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
  イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。 露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。 提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
  論文  参考訳（メタデータ） (2024-10-22T13:17:20Z)
• Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
  動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。 また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
  論文  参考訳（メタデータ） (2024-09-26T15:57:20Z)
• ExFMan: Rendering 3D Dynamic Humans with Hybrid Monocular Blurry Frames and Events [7.820081911598502]
  ハイブリットフレームベースのRGBとバイオインスパイアされたイベントカメラを用いて,高品質な人間を高速動作でレンダリングする,最初のニューラルレンダリングフレームワークであるExFManを提案する。 まず、標準空間における3次元物体の速度場を定式化し、それを画像空間に描画して、動きのぼやけのある身体部位を識別する。 次に,2つの新たな損失,すなわちベロシティ対応光度損失とベロシティ関連事象損失を提案し,ニューラル・ヒューマンを両モードで最適化する。
  論文  参考訳（メタデータ） (2024-09-21T10:58:01Z)
• EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams [59.77837807004765]
  本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。 イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。 我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
  論文  参考訳（メタデータ） (2024-04-12T17:59:47Z)
• 3D Human Scan With A Moving Event Camera [7.734104968315144]
  イベントカメラは高時間分解能と高ダイナミックレンジの利点がある。 本稿では,3次元ポーズ推定とヒューマンメッシュ復元のためのイベントベース手法を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:34:24Z)
• DanceCamera3D: 3D Camera Movement Synthesis with Music and Dance [50.01162760878841]
  DCMは、カメラの動きとダンスモーションと音楽オーディオを組み合わせた、新しいマルチモーダルな3Dデータセットである。 このデータセットは、アニメコミュニティからのペアダンスカメラ音楽データの108のダンスシーケンス(3.2時間)を含む。 本研究では,新しいボディアテンション損失と条件分離戦略を組み込んだトランスフォーマーに基づく拡散モデルであるDanceCamera3Dを提案する。
  論文  参考訳（メタデータ） (2024-03-20T15:24:57Z)
• EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision [50.060055525889915]
  イベントカメラは3次元ポーズ推定において大きな可能性を示し、特に低消費電力で高速な動きと高ダイナミックレンジの課題に対処する。 特に手が動かない場合に手の動き情報をエンコードするイベント表現を設計することは困難である。 本稿では,手振り推定のためのイベント・ツー・Poseモジュールにおける新しい手振り表現を用いたEvHandPoseを提案する。
  論文  参考訳（メタデータ） (2023-03-06T03:27:17Z)
• EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
  本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。 その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。 提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
  論文  参考訳（メタデータ） (2022-06-23T17:59:53Z)
• PhysCap: Physically Plausible Monocular 3D Motion Capture in Real Time [89.68248627276955]
  シングルカラーカメラからのマーカレス3Dモーションキャプチャは、大きな進歩を遂げた。 しかし、これは非常に困難な問題であり、深刻な問題である。 我々はPhysCapについて紹介する。PhysCapは物理的に可塑性でリアルタイムでマーカーのない人間の3Dモーションキャプチャのための最初のアルゴリズムである。
  論文  参考訳（メタデータ） (2020-08-20T10:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。