論文の概要: Lifting Monocular Events to 3D Human Poses
- arxiv url: http://arxiv.org/abs/2104.10609v1
- Date: Wed, 21 Apr 2021 16:07:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 15:54:22.610011
- Title: Lifting Monocular Events to 3D Human Poses
- Title(参考訳): モノクラーイベントを3D人間にリフティングする
- Authors: Gianluca Scarpellini, Pietro Morerio, Alessio Del Bue
- Abstract要約: 本稿では,非同期イベントの単一ストリームを入力として用いる新しい3次元ポーズ推定手法を提案する。
単一のイベントストリームから3D人間のポーズを学習する最初の方法を提案します。
実験により,本手法は,標準RGBとイベントベースビジョン間の性能ギャップを狭め,精度が向上することを示した。
- 参考スコア(独自算出の注目度): 22.699272716854967
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel 3D human pose estimation approach using a single
stream of asynchronous events as input. Most of the state-of-the-art approaches
solve this task with RGB cameras, however struggling when subjects are moving
fast. On the other hand, event-based 3D pose estimation benefits from the
advantages of event-cameras, especially their efficiency and robustness to
appearance changes. Yet, finding human poses in asynchronous events is in
general more challenging than standard RGB pose estimation, since little or no
events are triggered in static scenes. Here we propose the first learning-based
method for 3D human pose from a single stream of events. Our method consists of
two steps. First, we process the event-camera stream to predict three
orthogonal heatmaps per joint; each heatmap is the projection of of the joint
onto one orthogonal plane. Next, we fuse the sets of heatmaps to estimate 3D
localisation of the body joints. As a further contribution, we make available a
new, challenging dataset for event-based human pose estimation by simulating
events from the RGB Human3.6m dataset. Experiments demonstrate that our method
achieves solid accuracy, narrowing the performance gap between standard RGB and
event-based vision. The code is freely available at
https://iit-pavis.github.io/lifting_events_to_3d_hpe.
- Abstract(参考訳): 本稿では,非同期イベントの単一ストリームを入力として用いる新しい3次元ポーズ推定手法を提案する。
最先端のアプローチのほとんどは、RGBカメラでこの課題を解決しているが、被験者が速く動くのに苦労している。
一方、イベントベースの3Dは、イベントカメラの利点、特にその効率性と外観変化に対する堅牢性から得られる利点を推定する。
しかし、非同期イベントにおけるヒューマンポーズの発見は、静的なシーンでイベントがトリガされることが少ないため、一般的なRGBのポーズ推定よりも一般的に難しい。
本稿では,1つのイベントストリームから3次元人間のポーズを学習する最初の手法を提案する。
我々の方法は2つの段階からなる。
まず,イベントカメラストリームを処理して,接合部ごとに3つの直交ヒートマップを予測し,各ヒートマップは接合部の1つの直交面への投影である。
次に、熱マップの集合を融合させて、生体関節の3次元局在を推定する。
さらに、rgb human3.6mデータセットからのイベントをシミュレートして、イベントベースの人格推定のための新しい挑戦的なデータセットを提供する。
実験により,本手法は,標準RGBとイベントベースビジョン間の性能ギャップを狭め,精度が向上することを示した。
コードはhttps://iit-pavis.github.io/lifting_events_to_3d_hpeで無料で利用できる。
関連論文リスト
- Rethinking Event-based Human Pose Estimation with 3D Event
Representations [26.592295349210787]
イベントカメラは、困難なコンテキストをナビゲートするための堅牢なソリューションを提供する。
我々は、Rasterized Event Point CloudとDecoupled Event Voxelの2つの3Dイベント表現を紹介します。
EV-3DPW実験により,従来のRGB画像やイベントフレーム技術と比較して,提案手法のロバスト性を示した。
論文 参考訳(メタデータ) (2023-11-08T10:45:09Z) - BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown
Objects [89.2314092102403]
モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。
視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
論文 参考訳(メタデータ) (2023-03-24T17:13:49Z) - FutureHuman3D: Forecasting Complex Long-Term 3D Human Behavior from
Video Observations [30.001003285007954]
本稿では,3次元における長期的人間の行動を予測するための生成的アプローチを提案する。
我々は高レベルの粗いアクションラベルと低レベルの微粒化を特徴的3次元人間のポーズとして共同で予測する。
実験では,関節動作と3次元ポーズ予測の相補的性質を実証した。
論文 参考訳(メタデータ) (2022-11-25T18:59:53Z) - Efficient Human Pose Estimation via 3D Event Point Cloud [10.628192454401553]
私たちは3Dイベントポイントクラウドから直接2Dのポーズを推定する最初の人です。
そこで我々は,NX化イベントポイントクラウド(NX化イベントポイントクラウド)という新しいイベント表現を提案し,小さな時間スライスと同じ位置でイベントを集約する。
DHP19データセット上のMPJPE3Dの2048点入力82.46mmでPointNetを実現したが,レイテンシは12.29msに過ぎなかった。
論文 参考訳(メタデータ) (2022-06-09T13:50:20Z) - Monocular 3D Reconstruction of Interacting Hands via Collision-Aware
Factorized Refinements [96.40125818594952]
単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。
提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
論文 参考訳(メタデータ) (2021-11-01T08:24:10Z) - RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB
Video [76.86512780916827]
本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。
RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。
RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
論文 参考訳(メタデータ) (2021-06-22T12:53:56Z) - Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。
様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
論文 参考訳(メタデータ) (2021-04-30T17:58:07Z) - Real-time RGBD-based Extended Body Pose Estimation [57.61868412206493]
3DヒトポーズのリアルタイムRGBDに基づく推定システムを提案する。
パラメトリック3次元変形可能なヒューマンメッシュモデル(SMPL-X)を表現として使用する。
身体のポーズと表情パラメータの推定子を訓練する。
論文 参考訳(メタデータ) (2021-03-05T13:37:50Z) - EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
単眼ビデオからの3d手ポーズ推定は、長年の課題である。
我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。
従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
論文 参考訳(メタデータ) (2020-12-11T16:45:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。