論文の概要: 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera

• arxiv url: http://arxiv.org/abs/2312.14157v1
• Date: Thu, 21 Dec 2023 18:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 13:34:16.811381
• Title: 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera
• Title（参考訳）: 単眼イベントカメラによる2つのハンドの3次元位置推定
• Authors: Christen Millerdurai and Diogo Luvizon and Viktor Rudnev and Andr\'e Jonas and Jiayi Wang and Christian Theobalt and Vladislav Golyanik
• Abstract要約: 本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
• 参考スコア（独自算出の注目度）: 59.846927201816776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D hand tracking from a monocular video is a very challenging problem due to hand interactions, occlusions, left-right hand ambiguity, and fast motion. Most existing methods rely on RGB inputs, which have severe limitations under low-light conditions and suffer from motion blur. In contrast, event cameras capture local brightness changes instead of full image frames and do not suffer from the described effects. Unfortunately, existing image-based techniques cannot be directly applied to events due to significant differences in the data modalities. In response to these challenges, this paper introduces the first framework for 3D tracking of two fast-moving and interacting hands from a single monocular event camera. Our approach tackles the left-right hand ambiguity with a novel semi-supervised feature-wise attention mechanism and integrates an intersection loss to fix hand collisions. To facilitate advances in this research domain, we release a new synthetic large-scale dataset of two interacting hands, Ev2Hands-S, and a new real benchmark with real event streams and ground-truth 3D annotations, Ev2Hands-R. Our approach outperforms existing methods in terms of the 3D reconstruction accuracy and generalises to real data under severe light conditions.
• Abstract（参考訳）: モノクロビデオからの3dハンドトラッキングは、手の動き、オクルージョン、左右のあいまいさ、速い動きなど、非常に難しい問題である。 既存のほとんどの方法はRGB入力に依存しており、低照度条件下では厳しい制限があり、動きがぼやけている。 対照的にイベントカメラは、フルフレームではなくローカルな明るさ変化をキャプチャし、前述の効果に苦しむことはない。 残念なことに、既存のイメージベースのテクニックは、データモダリティが著しく異なるため、イベントに直接適用できない。 これらの課題に応えて,単眼のイベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを提案する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点損失を統合し, 衝突を解消する。 本研究領域の進歩を促進するため,2つの相互作用する手からなる新しい大規模データセットであるEv2Hands-Sと,実イベントストリームと地上3Dアノテーションを備えた実時間ベンチマークであるEv2Hands-Rをリリースする。 提案手法は3次元再構成精度で既存手法より優れ, 重度光条件下での実データに一般化する。

関連論文リスト

• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• HandDGP: Camera-Space Hand Mesh Prediction with Differentiable Global Positioning [1.4515751892711464]
  本稿では,2D-3D対応問題に対処するエンドツーエンドソリューションを提案する。 このソリューションは、新しい差別化可能なグローバル位置決めモジュールを通じて、カメラ空間出力からネットワークの他の部分へのバックプロパゲーションを可能にする。 いくつかのベースラインと最先端のアプローチに対する評価において、我々のフレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2024-07-22T17:59:01Z)
• EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision [50.060055525889915]
  イベントカメラは3次元ポーズ推定において大きな可能性を示し、特に低消費電力で高速な動きと高ダイナミックレンジの課題に対処する。 特に手が動かない場合に手の動き情報をエンコードするイベント表現を設計することは困難である。 本稿では,手振り推定のためのイベント・ツー・Poseモジュールにおける新しい手振り表現を用いたEvHandPoseを提案する。
  論文  参考訳（メタデータ） (2023-03-06T03:27:17Z)
• Tracking Fast by Learning Slow: An Event-based Speed Adaptive Hand Tracker Leveraging Knowledge in RGB Domain [4.530678016396477]
  高時間分解能・ダイナミックレンジのセンサであるイベントカメラは,低出力・低消費電力の課題に自然に適している。 本研究では,イベントカメラに基づくハンドトラッキング問題を解決するために,イベントベースの速度適応ハンドトラッカー(ESAHT)を開発した。 我々のソリューションは、高速ハンドトラッキングタスクにおけるRGBベースと、それ以前のイベントベースのソリューションよりも優れており、コードとデータセットが公開されます。
  論文  参考訳（メタデータ） (2023-02-28T09:18:48Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。