論文の概要: 3D Human Scan With A Moving Event Camera

• arxiv url: http://arxiv.org/abs/2404.08504v1
• Date: Fri, 12 Apr 2024 14:34:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 14:47:19.148724
• Title: 3D Human Scan With A Moving Event Camera
• Title（参考訳）: 動くイベントカメラで3D人間をスキャン
• Authors: Kai Kohyama, Shintaro Shiba, Yoshimitsu Aoki,
• Abstract要約: イベントカメラは高時間分解能と高ダイナミックレンジの利点がある。 本稿では,3次元ポーズ推定とヒューマンメッシュ復元のためのイベントベース手法を提案する。
• 参考スコア（独自算出の注目度）: 7.734104968315144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Capturing the 3D human body is one of the important tasks in computer vision with a wide range of applications such as virtual reality and sports analysis. However, conventional frame cameras are limited by their temporal resolution and dynamic range, which imposes constraints in real-world application setups. Event cameras have the advantages of high temporal resolution and high dynamic range (HDR), but the development of event-based methods is necessary to handle data with different characteristics. This paper proposes a novel event-based method for 3D pose estimation and human mesh recovery. Prior work on event-based human mesh recovery require frames (images) as well as event data. The proposed method solely relies on events; it carves 3D voxels by moving the event camera around a stationary body, reconstructs the human pose and mesh by attenuated rays, and fit statistical body models, preserving high-frequency details. The experimental results show that the proposed method outperforms conventional frame-based methods in the estimation accuracy of both pose and body mesh. We also demonstrate results in challenging situations where a conventional camera has motion blur. This is the first to demonstrate event-only human mesh recovery, and we hope that it is the first step toward achieving robust and accurate 3D human body scanning from vision sensors.
• Abstract（参考訳）: 3Dの人体を捕獲することは、仮想現実やスポーツ分析といった幅広い応用でコンピュータビジョンにおいて重要なタスクの1つである。 しかし、従来のフレームカメラは時間分解能とダイナミックレンジによって制限されており、現実世界のアプリケーション設定に制約が課されている。 イベントカメラは、高時間分解能と高ダイナミックレンジ(HDR)の利点があるが、異なる特徴を持つデータを扱うためには、イベントベースの手法の開発が必要である。 本稿では,3次元ポーズ推定とヒューマンメッシュ復元のためのイベントベース手法を提案する。 イベントベースのヒューマンメッシュリカバリに関する以前の作業では、フレーム(イメージ)とイベントデータが必要だった。 提案手法は,イベントカメラを静止体に移動させて3Dボクセルを彫り,減衰した光線で人間のポーズとメッシュを再構成し,統計モデルに適合させ,高周波の詳細を保存することによって,イベントのみに依存する。 実験の結果,提案手法は従来のフレームベース手法よりも,ポーズとボディーメッシュの両方の推定精度が高いことがわかった。 また,従来のカメラの動作がぼやけている状況においても,その結果が示される。 これは、イベントのみの人間のメッシュリカバリを初めて示すもので、視覚センサーから堅牢で正確な3D人体スキャンを実現するための第一歩になることを願っています。

関連論文リスト

• EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams [59.77837807004765]
  本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。 イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。 我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
  論文  参考訳（メタデータ） (2024-04-12T17:59:47Z)
• Event-based tracking of human hands [0.6875312133832077]
  イベントカメラは、明るさの変化、動きの測定、低レイテンシ、動きのぼけのない、消費電力の低い、ダイナミックレンジの高い検出を行う。 キャプチャされたフレームは、3次元手の位置データを報告する軽量アルゴリズムを用いて分析される。
  論文  参考訳（メタデータ） (2023-04-13T13:43:45Z)
• Event-based Human Pose Tracking by Spiking Spatiotemporal Transformer [20.188995900488717]
  イベントベースのポーズトラッキングのための、エンド・ツー・エンドのスパース・ディープ・アプローチを提案する。 イベントのみから3Dのポーズトラッキングが取得されたのはこれが初めてである。 提案手法はFLOPSの80%を大幅に削減する。
  論文  参考訳（メタデータ） (2023-03-16T22:56:12Z)
• Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
  本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。 本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-11-29T16:32:41Z)
• EventHPE: Event-based 3D Human Pose and Shape Estimation [33.197194879047956]
  イベントカメラは、イベントとして動く物体のダイナミックスをキャプチャする、新しいイメージングセンサーである。 本研究では,EventHPEと呼ばれる2段階のディープラーニング手法を提案する。 最初のステージであるFlowNetは、教師なしの学習によってトレーニングされ、イベントから光学フローを推論する。 第2段のShapeNetは、第2段のShapeNetへの入力として供給され、3次元の人間の形状を推定する。
  論文  参考訳（メタデータ） (2021-08-15T21:40:19Z)
• Lifting Monocular Events to 3D Human Poses [22.699272716854967]
  本稿では,非同期イベントの単一ストリームを入力として用いる新しい3次元ポーズ推定手法を提案する。 単一のイベントストリームから3D人間のポーズを学習する最初の方法を提案します。 実験により,本手法は,標準RGBとイベントベースビジョン間の性能ギャップを狭め,精度が向上することを示した。
  論文  参考訳（メタデータ） (2021-04-21T16:07:12Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
  単眼ビデオからの3d手ポーズ推定は、長年の課題である。 我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。 従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
  論文  参考訳（メタデータ） (2020-12-11T16:45:34Z)
• PhysCap: Physically Plausible Monocular 3D Motion Capture in Real Time [89.68248627276955]
  シングルカラーカメラからのマーカレス3Dモーションキャプチャは、大きな進歩を遂げた。 しかし、これは非常に困難な問題であり、深刻な問題である。 我々はPhysCapについて紹介する。PhysCapは物理的に可塑性でリアルタイムでマーカーのない人間の3Dモーションキャプチャのための最初のアルゴリズムである。
  論文  参考訳（メタデータ） (2020-08-20T10:46:32Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。