論文の概要: EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision

• arxiv url: http://arxiv.org/abs/2303.02862v1
• Date: Mon, 6 Mar 2023 03:27:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 17:32:28.905527
• Title: EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision
• Title（参考訳）: EvHandPose:スパーススーパービジョンによるイベントベースの3Dハンドポース推定
• Authors: Jianping Jiang, Jiahe Li, Baowen Zhang, Xiaoming Deng, Boxin Shi
• Abstract要約: イベントカメラは3次元ポーズ推定において大きな可能性を示し、特に低消費電力で高速な動きと高ダイナミックレンジの課題に対処する。 本研究では,手動ポーズ推定のためのイベント・ツー・Poseモジュールにおいて,手動フローを表現可能なEvHandPoseを提案する。 EvHandPoseは、RGBベースの手法と比較して、速い動きと強い光のシーンにおいて正確で安定したポーズ推定を実現する。
• 参考スコア（独自算出の注目度）: 47.017758847001645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event camera shows great potential in 3D hand pose estimation, especially addressing the challenges of fast motion and high dynamic range in a low-power way. However, due to the asynchronous differential imaging mechanism, it is challenging to design event representation to encode hand motion information especially when the hands are not moving (causing motion ambiguity), and it is infeasible to fully annotate the temporally dense event stream. In this paper, we propose EvHandPose with novel hand flow representations in Event-to-Pose module for accurate hand pose estimation and alleviating the motion ambiguity issue. To solve the problem under sparse annotation, we design contrast maximization and edge constraints in Pose-to-IWE (Image with Warped Events) module and formulate EvHandPose in a self-supervision framework. We further build EvRealHands, the first large-scale real-world event-based hand pose dataset on several challenging scenes to bridge the domain gap due to relying on synthetic data and facilitate future research. Experiments on EvRealHands demonstrate that EvHandPose outperforms previous event-based method under all evaluation scenes with 15 $\sim$ 20 mm lower MPJPE and achieves accurate and stable hand pose estimation in fast motion and strong light scenes compared with RGB-based methods. Furthermore, EvHandPose demonstrates 3D hand pose estimation at 120 fps or higher.
• Abstract（参考訳）: イベントカメラは3次元ポーズ推定において大きな可能性を示し、特に低消費電力で高速な動きと高ダイナミックレンジの課題に対処する。 しかし, 非同期差動イメージング機構により, 手の動きが不明瞭である場合に手の動き情報を符号化するイベント表現を設計することは困難であり, 時間的に密接なイベントストリームを完全にアノテートすることは不可能である。 本稿では,手動ポーズの正確な推定と動作のあいまいさの軽減のために,イベント・ツー・Poseモジュールに新しい手動フロー表現を備えたEvHandPoseを提案する。 スパースアノテーションの下での問題を解決するため,Pose-to-IWEモジュールのコントラスト最大化とエッジ制約を設計し,自己スーパービジョンフレームワークでEvHandPoseを定式化する。 evrealhandsは、合成データに依存し、将来の研究を促進するため、ドメインギャップを橋渡しするためにいくつかの困難なシーンで、最初の大規模な実世界イベントベースのハンドポーズデータセットである。 EvRealHandsの実験では、EvHandPoseは、すべての評価シーンにおいて、15$\sim$20 mmのMPJPEで過去のイベントベースの手法よりも優れており、RGBベースの手法と比較して、速い動きや強い光のシーンにおいて正確で安定した手ポーズ推定を実現している。 さらに、evhandposeは120fps以上の3dハンドポーズ推定を示す。

関連論文リスト

• HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
  ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。 本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。 実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-04-04T02:15:16Z)
• On the Utility of 3D Hand Poses for Action Recognition [36.64538554919222]
  HandFormerは、手動オブジェクトの相互作用を効率的にモデル化する新しいマルチモーダルトランスである。 我々は手指のモデリングを分類し,その短期的軌跡によって各関節を表現した。 我々は,アセンブラ101およびH2O上での最先端性能を新たに達成し,エゴセントリックな動作認識を大幅に改善した。
  論文  参考訳（メタデータ） (2024-03-14T18:52:34Z)
• 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera [59.846927201816776]
  本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:57Z)
• Denoising Diffusion for 3D Hand Pose Estimation from Images [38.20064386142944]
  本稿では,モノクロ画像やシーケンスからの3次元手ポーズ推定の問題に対処する。 本稿では,3次元ハンドレグレッションのための新しいエンド・ツー・エンド・エンド・フレームワークを提案する。 提案モデルは,2次元の片手画像を3Dに持ち上げる際に,最先端の性能を提供する。
  論文  参考訳（メタデータ） (2023-08-18T12:57:22Z)
• Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
  既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。 ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。 画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
  論文  参考訳（メタデータ） (2023-03-09T02:24:30Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。