論文の概要: EventHPE: Event-based 3D Human Pose and Shape Estimation

• arxiv url: http://arxiv.org/abs/2108.06819v1
• Date: Sun, 15 Aug 2021 21:40:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 15:06:28.827509
• Title: EventHPE: Event-based 3D Human Pose and Shape Estimation
• Title（参考訳）: EventHPE:イベントベースの3Dヒューマンポースと形状推定
• Authors: Shihao Zou, Chuan Guo, Xinxin Zuo, Sen Wang, Pengyu Wang, Xiaoqin Hu, Shoushun Chen, Minglun Gong, Li Cheng
• Abstract要約: イベントカメラは、イベントとして動く物体のダイナミックスをキャプチャする、新しいイメージングセンサーである。 本研究では,EventHPEと呼ばれる2段階のディープラーニング手法を提案する。 最初のステージであるFlowNetは、教師なしの学習によってトレーニングされ、イベントから光学フローを推論する。 第2段のShapeNetは、第2段のShapeNetへの入力として供給され、3次元の人間の形状を推定する。
• 参考スコア（独自算出の注目度）: 33.197194879047956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event camera is an emerging imaging sensor for capturing dynamics of moving objects as events, which motivates our work in estimating 3D human pose and shape from the event signals. Events, on the other hand, have their unique challenges: rather than capturing static body postures, the event signals are best at capturing local motions. This leads us to propose a two-stage deep learning approach, called EventHPE. The first-stage, FlowNet, is trained by unsupervised learning to infer optical flow from events. Both events and optical flow are closely related to human body dynamics, which are fed as input to the ShapeNet in the second stage, to estimate 3D human shapes. To mitigate the discrepancy between image-based flow (optical flow) and shape-based flow (vertices movement of human body shape), a novel flow coherence loss is introduced by exploiting the fact that both flows are originated from the identical human motion. An in-house event-based 3D human dataset is curated that comes with 3D pose and shape annotations, which is by far the largest one to our knowledge. Empirical evaluations on DHP19 dataset and our in-house dataset demonstrate the effectiveness of our approach.
• Abstract（参考訳）: イベントカメラは、移動物体のダイナミックな動きをイベントとして捉え、イベント信号から3Dのポーズと形状を推定する作業の動機となる。 一方、イベントには固有の課題がある。静的な身体姿勢を捉えるのではなく、イベント信号は局所的な動きを捉えるのに最適である。 これにより、EventHPEと呼ばれる2段階のディープラーニングアプローチを提案します。 第1段階のflownetは教師なし学習によって訓練され、イベントからの光の流れを推測する。 イベントとオプティカルフローは2段目のシェープネットへの入力として供給される人体のダイナミクスと密接に関連し、3次元の人体形状を推定する。 画像ベースフロー(光学フロー)と形状ベースフロー(人体形状の頂点運動)との差を緩和するために、同一の人間の動きから両方の流れが生じるという事実を利用して、新しい流れコヒーレンス損失を導入する。 社内のイベントベースの3Dヒューマンデータセットがキュレーションされ、3Dのポーズと形状のアノテーションが提供される。 DHP19データセットと社内データセットの実証評価により,本手法の有効性が示された。

関連論文リスト

• EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams [59.77837807004765]
  本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。 イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。 我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
  論文  参考訳（メタデータ） (2024-04-12T17:59:47Z)
• 3D Human Scan With A Moving Event Camera [7.734104968315144]
  イベントカメラは高時間分解能と高ダイナミックレンジの利点がある。 本稿では,3次元ポーズ推定とヒューマンメッシュ復元のためのイベントベース手法を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:34:24Z)
• Exploring Event-based Human Pose Estimation with 3D Event Representations [26.34100847541989]
  我々は、Rasterized Event Point Cloud(Ras EPC)とDecoupled Event Voxel(DEV)の2つの3Dイベント表現を紹介した。 Ras EPCは、簡潔な時間スライス内のイベントを同じ位置で集約し、それらの3D属性を統計情報と共に保存し、メモリと計算要求を大幅に削減する。 提案手法は,DHP19公開データセット,MMHPSDデータセット,EV-3DPWデータセットで検証し,誘導駆動シーンデータセットEV-JAADと屋外収集車両によるさらなる定性検証を行った。
  論文  参考訳（メタデータ） (2023-11-08T10:45:09Z)
• Event-based Human Pose Tracking by Spiking Spatiotemporal Transformer [20.188995900488717]
  イベントベースのポーズトラッキングのための、エンド・ツー・エンドのスパース・ディープ・アプローチを提案する。 イベントのみから3Dのポーズトラッキングが取得されたのはこれが初めてである。 提案手法はFLOPSの80%を大幅に削減する。
  論文  参考訳（メタデータ） (2023-03-16T22:56:12Z)
• Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence Learning [70.75369367311897]
  3D対応のグローバルな対応は、グローバルな意味的相関、局所的な変形、および3D人体の幾何学的先行を共同でエンコードする信頼性のあるフローである。 対向ジェネレータは、3D認識フローによって歪んだ衣服と、対象者の画像とを入力として、フォトリアリスティックな試着結果を合成する。
  論文  参考訳（メタデータ） (2022-11-25T12:16:21Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• 3D Human Pose Estimation for Free-form Activity Using WiFi Signals [5.2245900672091]
  Winectは、コモディティWiFiデバイスを使用したフリーフォームアクティビティのための3Dヒューマンポーズトラッキングシステムである。 我々のシステムは、人間の関節からなる3D骨格のポーズを推定することにより、自由形態の活動を追跡する。
  論文  参考訳（メタデータ） (2021-10-15T18:47:16Z)
• Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
  我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。 様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
  論文  参考訳（メタデータ） (2021-04-30T17:58:07Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)
• Optical Non-Line-of-Sight Physics-based 3D Human Pose Estimation [38.57899581285387]
  本稿では,過渡画像から3次元人物のポーズ推定を行う手法について述べる。 本手法は, 環境に間接的に反射された光を用いて, 角を見回すことで, 人間の3次元姿勢を知覚することができる。
  論文  参考訳（メタデータ） (2020-03-31T17:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。