論文の概要: Lifting Monocular Events to 3D Human Poses

• arxiv url: http://arxiv.org/abs/2104.10609v1
• Date: Wed, 21 Apr 2021 16:07:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 15:54:22.610011
• Title: Lifting Monocular Events to 3D Human Poses
• Title（参考訳）: モノクラーイベントを3D人間にリフティングする
• Authors: Gianluca Scarpellini, Pietro Morerio, Alessio Del Bue
• Abstract要約: 本稿では,非同期イベントの単一ストリームを入力として用いる新しい3次元ポーズ推定手法を提案する。 単一のイベントストリームから3D人間のポーズを学習する最初の方法を提案します。 実験により,本手法は,標準RGBとイベントベースビジョン間の性能ギャップを狭め,精度が向上することを示した。
• 参考スコア（独自算出の注目度）: 22.699272716854967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a novel 3D human pose estimation approach using a single stream of asynchronous events as input. Most of the state-of-the-art approaches solve this task with RGB cameras, however struggling when subjects are moving fast. On the other hand, event-based 3D pose estimation benefits from the advantages of event-cameras, especially their efficiency and robustness to appearance changes. Yet, finding human poses in asynchronous events is in general more challenging than standard RGB pose estimation, since little or no events are triggered in static scenes. Here we propose the first learning-based method for 3D human pose from a single stream of events. Our method consists of two steps. First, we process the event-camera stream to predict three orthogonal heatmaps per joint; each heatmap is the projection of of the joint onto one orthogonal plane. Next, we fuse the sets of heatmaps to estimate 3D localisation of the body joints. As a further contribution, we make available a new, challenging dataset for event-based human pose estimation by simulating events from the RGB Human3.6m dataset. Experiments demonstrate that our method achieves solid accuracy, narrowing the performance gap between standard RGB and event-based vision. The code is freely available at https://iit-pavis.github.io/lifting_events_to_3d_hpe.
• Abstract（参考訳）: 本稿では,非同期イベントの単一ストリームを入力として用いる新しい3次元ポーズ推定手法を提案する。 最先端のアプローチのほとんどは、RGBカメラでこの課題を解決しているが、被験者が速く動くのに苦労している。 一方、イベントベースの3Dは、イベントカメラの利点、特にその効率性と外観変化に対する堅牢性から得られる利点を推定する。 しかし、非同期イベントにおけるヒューマンポーズの発見は、静的なシーンでイベントがトリガされることが少ないため、一般的なRGBのポーズ推定よりも一般的に難しい。 本稿では,1つのイベントストリームから3次元人間のポーズを学習する最初の手法を提案する。 我々の方法は2つの段階からなる。 まず,イベントカメラストリームを処理して,接合部ごとに3つの直交ヒートマップを予測し,各ヒートマップは接合部の1つの直交面への投影である。 次に、熱マップの集合を融合させて、生体関節の3次元局在を推定する。 さらに、rgb human3.6mデータセットからのイベントをシミュレートして、イベントベースの人格推定のための新しい挑戦的なデータセットを提供する。 実験により,本手法は,標準RGBとイベントベースビジョン間の性能ギャップを狭め,精度が向上することを示した。 コードはhttps://iit-pavis.github.io/lifting_events_to_3d_hpeで無料で利用できる。

関連論文リスト

• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• IncEventGS: Pose-Free Gaussian Splatting from a Single Event Camera [7.515256982860307]
  IncEventGSは、単一のイベントカメラを備えたインクリメンタルな3Dガウススプレイティング再構成アルゴリズムである。 我々は,IncEventGSにおける従来のSLAMパイプラインの追跡とマッピングのパラダイムを活用する。
  論文  参考訳（メタデータ） (2024-10-10T16:54:23Z)
• EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams [59.77837807004765]
  本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。 イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。 我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
  論文  参考訳（メタデータ） (2024-04-12T17:59:47Z)
• 3D Human Scan With A Moving Event Camera [7.734104968315144]
  イベントカメラは高時間分解能と高ダイナミックレンジの利点がある。 本稿では,3次元ポーズ推定とヒューマンメッシュ復元のためのイベントベース手法を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:34:24Z)
• Efficient Human Pose Estimation via 3D Event Point Cloud [10.628192454401553]
  私たちは3Dイベントポイントクラウドから直接2Dのポーズを推定する最初の人です。 そこで我々は,NX化イベントポイントクラウド(NX化イベントポイントクラウド)という新しいイベント表現を提案し,小さな時間スライスと同じ位置でイベントを集約する。 DHP19データセット上のMPJPE3Dの2048点入力82.46mmでPointNetを実現したが,レイテンシは12.29msに過ぎなかった。
  論文  参考訳（メタデータ） (2022-06-09T13:50:20Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
  我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。 様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
  論文  参考訳（メタデータ） (2021-04-30T17:58:07Z)
• Real-time RGBD-based Extended Body Pose Estimation [57.61868412206493]
  3DヒトポーズのリアルタイムRGBDに基づく推定システムを提案する。 パラメトリック3次元変形可能なヒューマンメッシュモデル(SMPL-X)を表現として使用する。 身体のポーズと表情パラメータの推定子を訓練する。
  論文  参考訳（メタデータ） (2021-03-05T13:37:50Z)
• EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
  単眼ビデオからの3d手ポーズ推定は、長年の課題である。 我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。 従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
  論文  参考訳（メタデータ） (2020-12-11T16:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。