論文の概要: EventHPE: Event-based 3D Human Pose and Shape Estimation
- arxiv url: http://arxiv.org/abs/2108.06819v1
- Date: Sun, 15 Aug 2021 21:40:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-17 15:06:28.827509
- Title: EventHPE: Event-based 3D Human Pose and Shape Estimation
- Title(参考訳): EventHPE:イベントベースの3Dヒューマンポースと形状推定
- Authors: Shihao Zou, Chuan Guo, Xinxin Zuo, Sen Wang, Pengyu Wang, Xiaoqin Hu,
Shoushun Chen, Minglun Gong, Li Cheng
- Abstract要約: イベントカメラは、イベントとして動く物体のダイナミックスをキャプチャする、新しいイメージングセンサーである。
本研究では,EventHPEと呼ばれる2段階のディープラーニング手法を提案する。
最初のステージであるFlowNetは、教師なしの学習によってトレーニングされ、イベントから光学フローを推論する。
第2段のShapeNetは、第2段のShapeNetへの入力として供給され、3次元の人間の形状を推定する。
- 参考スコア(独自算出の注目度): 33.197194879047956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event camera is an emerging imaging sensor for capturing dynamics of moving
objects as events, which motivates our work in estimating 3D human pose and
shape from the event signals. Events, on the other hand, have their unique
challenges: rather than capturing static body postures, the event signals are
best at capturing local motions. This leads us to propose a two-stage deep
learning approach, called EventHPE. The first-stage, FlowNet, is trained by
unsupervised learning to infer optical flow from events. Both events and
optical flow are closely related to human body dynamics, which are fed as input
to the ShapeNet in the second stage, to estimate 3D human shapes. To mitigate
the discrepancy between image-based flow (optical flow) and shape-based flow
(vertices movement of human body shape), a novel flow coherence loss is
introduced by exploiting the fact that both flows are originated from the
identical human motion. An in-house event-based 3D human dataset is curated
that comes with 3D pose and shape annotations, which is by far the largest one
to our knowledge. Empirical evaluations on DHP19 dataset and our in-house
dataset demonstrate the effectiveness of our approach.
- Abstract(参考訳): イベントカメラは、移動物体のダイナミックな動きをイベントとして捉え、イベント信号から3Dのポーズと形状を推定する作業の動機となる。
一方、イベントには固有の課題がある。静的な身体姿勢を捉えるのではなく、イベント信号は局所的な動きを捉えるのに最適である。
これにより、EventHPEと呼ばれる2段階のディープラーニングアプローチを提案します。
第1段階のflownetは教師なし学習によって訓練され、イベントからの光の流れを推測する。
イベントとオプティカルフローは2段目のシェープネットへの入力として供給される人体のダイナミクスと密接に関連し、3次元の人体形状を推定する。
画像ベースフロー(光学フロー)と形状ベースフロー(人体形状の頂点運動)との差を緩和するために、同一の人間の動きから両方の流れが生じるという事実を利用して、新しい流れコヒーレンス損失を導入する。
社内のイベントベースの3Dヒューマンデータセットがキュレーションされ、3Dのポーズと形状のアノテーションが提供される。
DHP19データセットと社内データセットの実証評価により,本手法の有効性が示された。
関連論文リスト
- Rethinking Event-based Human Pose Estimation with 3D Event
Representations [26.592295349210787]
イベントカメラは、困難なコンテキストをナビゲートするための堅牢なソリューションを提供する。
我々は、Rasterized Event Point CloudとDecoupled Event Voxelの2つの3Dイベント表現を紹介します。
EV-3DPW実験により,従来のRGB画像やイベントフレーム技術と比較して,提案手法のロバスト性を示した。
論文 参考訳(メタデータ) (2023-11-08T10:45:09Z) - Event-based Human Pose Tracking by Spiking Spatiotemporal Transformer [20.188995900488717]
イベントベースのポーズトラッキングのための、エンド・ツー・エンドのスパース・ディープ・アプローチを提案する。
イベントのみから3Dのポーズトラッキングが取得されたのはこれが初めてである。
提案手法はFLOPSの80%を大幅に削減する。
論文 参考訳(メタデータ) (2023-03-16T22:56:12Z) - Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence
Learning [70.75369367311897]
3D対応のグローバルな対応は、グローバルな意味的相関、局所的な変形、および3D人体の幾何学的先行を共同でエンコードする信頼性のあるフローである。
対向ジェネレータは、3D認識フローによって歪んだ衣服と、対象者の画像とを入力として、フォトリアリスティックな試着結果を合成する。
論文 参考訳(メタデータ) (2022-11-25T12:16:21Z) - Embodied Scene-aware Human Pose Estimation [25.094152307452]
シーン認識型人間のポーズ推定手法を提案する。
本手法は, シミュレーション環境下でのグローバルな3次元人間のポーズを再現し, 因果関係の1段階である。
論文 参考訳(メタデータ) (2022-06-18T03:50:19Z) - NeuralReshaper: Single-image Human-body Retouching with Deep Neural
Networks [50.40798258968408]
本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。
われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。
ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
論文 参考訳(メタデータ) (2022-03-20T09:02:13Z) - LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human
Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。
完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。
我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文 参考訳(メタデータ) (2021-11-30T04:10:57Z) - 3D Human Pose Estimation for Free-form Activity Using WiFi Signals [5.2245900672091]
Winectは、コモディティWiFiデバイスを使用したフリーフォームアクティビティのための3Dヒューマンポーズトラッキングシステムである。
我々のシステムは、人間の関節からなる3D骨格のポーズを推定することにより、自由形態の活動を追跡する。
論文 参考訳(メタデータ) (2021-10-15T18:47:16Z) - Multi-level Motion Attention for Human Motion Prediction [132.29963836262394]
本研究は, 関節, 身体部分, フルポーズレベルなど, 異なる種類の注意力の使用について検討した。
我々は,Human3.6M,AMASS,3DPWを用いて,周期的および非周期的両方の行動に対するアプローチの利点を検証した。
論文 参考訳(メタデータ) (2021-06-17T08:08:11Z) - Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。
様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
論文 参考訳(メタデータ) (2021-04-30T17:58:07Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳(メタデータ) (2020-07-22T21:09:11Z) - Optical Non-Line-of-Sight Physics-based 3D Human Pose Estimation [38.57899581285387]
本稿では,過渡画像から3次元人物のポーズ推定を行う手法について述べる。
本手法は, 環境に間接的に反射された光を用いて, 角を見回すことで, 人間の3次元姿勢を知覚することができる。
論文 参考訳(メタデータ) (2020-03-31T17:57:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。