論文の概要: EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision

• arxiv url: http://arxiv.org/abs/2303.02862v3
• Date: Thu, 28 Dec 2023 08:48:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 23:32:08.125155
• Title: EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision
• Title（参考訳）: EvHandPose:スパーススーパービジョンによるイベントベースの3Dハンドポース推定
• Authors: Jianping Jiang, Jiahe Li, Baowen Zhang, Xiaoming Deng, Boxin Shi
• Abstract要約: イベントカメラは3次元ポーズ推定において大きな可能性を示し、特に低消費電力で高速な動きと高ダイナミックレンジの課題に対処する。 特に手が動かない場合に手の動き情報をエンコードするイベント表現を設計することは困難である。 本稿では,手振り推定のためのイベント・ツー・Poseモジュールにおける新しい手振り表現を用いたEvHandPoseを提案する。
• 参考スコア（独自算出の注目度）: 50.060055525889915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event camera shows great potential in 3D hand pose estimation, especially addressing the challenges of fast motion and high dynamic range in a low-power way. However, due to the asynchronous differential imaging mechanism, it is challenging to design event representation to encode hand motion information especially when the hands are not moving (causing motion ambiguity), and it is infeasible to fully annotate the temporally dense event stream. In this paper, we propose EvHandPose with novel hand flow representations in Event-to-Pose module for accurate hand pose estimation and alleviating the motion ambiguity issue. To solve the problem under sparse annotation, we design contrast maximization and hand-edge constraints in Pose-to-IWE (Image with Warped Events) module and formulate EvHandPose in a weakly-supervision framework. We further build EvRealHands, the first large-scale real-world event-based hand pose dataset on several challenging scenes to bridge the real-synthetic domain gap. Experiments on EvRealHands demonstrate that EvHandPose outperforms previous event-based methods under all evaluation scenes, achieves accurate and stable hand pose estimation with high temporal resolution in fast motion and strong light scenes compared with RGB-based methods, generalizes well to outdoor scenes and another type of event camera, and shows the potential for the hand gesture recognition task.
• Abstract（参考訳）: イベントカメラは3次元ポーズ推定において大きな可能性を示し、特に低消費電力で高速な動きと高ダイナミックレンジの課題に対処する。 しかし, 非同期差動イメージング機構により, 手の動きが不明瞭である場合に手の動き情報を符号化するイベント表現を設計することは困難であり, 時間的に密接なイベントストリームを完全にアノテートすることは不可能である。 本稿では,手動ポーズの正確な推定と動作のあいまいさの軽減のために,イベント・ツー・Poseモジュールに新しい手動フロー表現を備えたEvHandPoseを提案する。 スパースアノテーションの下でこの問題を解決するため,Pose-to-IWEモジュールのコントラスト最大化と手辺制約を設計し,EvHandPoseを弱スーパービジョンフレームワークで定式化する。 evrealhandsは、現実世界のドメインギャップを埋めるため、いくつかの困難なシーンで、最初の大規模なイベントベースのハンドポーズデータセットです。 EvRealHandsの実験では、EvHandPoseはすべての評価シーンにおいて過去のイベントベースの手法より優れており、RGBベースの手法と比較して、高速動作や強い光シーンにおいて時間分解能の高い手ポーズ推定を正確かつ安定に達成し、屋外シーンや他の種類のイベントカメラによく適応し、手振り認識タスクの可能性を示している。

関連論文リスト

• HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
  ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。 本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。 実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-04-04T02:15:16Z)
• On the Utility of 3D Hand Poses for Action Recognition [36.64538554919222]
  3Dハンドポーズは、アクション認識のための未探索のモダリティである。 我々は,新しいマルチモーダルトランスであるHandFormerを提案する。 HandFormerは、精密なモーションモデリングのための高時間分解能で3Dのポーズを組み合わせる。 我々は,アセンブラ101およびH2O上での最先端性能を新たに達成し,エゴセントリックな動作認識を大幅に改善した。
  論文  参考訳（メタデータ） (2024-03-14T18:52:34Z)
• 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera [59.846927201816776]
  本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:57Z)
• Denoising Diffusion for 3D Hand Pose Estimation from Images [38.20064386142944]
  本稿では,モノクロ画像やシーケンスからの3次元手ポーズ推定の問題に対処する。 本稿では,3次元ハンドレグレッションのための新しいエンド・ツー・エンド・エンド・フレームワークを提案する。 提案モデルは,2次元の片手画像を3Dに持ち上げる際に,最先端の性能を提供する。
  論文  参考訳（メタデータ） (2023-08-18T12:57:22Z)
• Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
  既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。 ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。 画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
  論文  参考訳（メタデータ） (2023-03-09T02:24:30Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。