論文の概要: Ego2HandsPose: A Dataset for Egocentric Two-hand 3D Global Pose
Estimation
- arxiv url: http://arxiv.org/abs/2206.04927v1
- Date: Fri, 10 Jun 2022 07:50:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-13 23:41:56.165782
- Title: Ego2HandsPose: A Dataset for Egocentric Two-hand 3D Global Pose
Estimation
- Title(参考訳): Ego2HandsPose:Egocentric Two-hand Global Pose Estimationのためのデータセット
- Authors: Fanqing Lin, Tony Martinez
- Abstract要約: Ego2HandsPoseは、目に見えないドメインでカラーベースの2Dトラッキングを可能にする最初のデータセットである。
本研究では,1)1つの画像を用いた3次元手ポーズアノテーションの実現,2)2次元手ポーズから3次元手ポーズへの自動変換,3)時間的整合性を伴う高精度な両手トラッキングを実現するためのパラメトリックフィッティングアルゴリズムの開発を行う。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Color-based two-hand 3D pose estimation in the global coordinate system is
essential in many applications. However, there are very few datasets dedicated
to this task and no existing dataset supports estimation in a non-laboratory
environment. This is largely attributed to the sophisticated data collection
process required for 3D hand pose annotations, which also leads to difficulty
in obtaining instances with the level of visual diversity needed for estimation
in the wild. Progressing towards this goal, a large-scale dataset Ego2Hands was
recently proposed to address the task of two-hand segmentation and detection in
the wild. The proposed composition-based data generation technique can create
two-hand instances with quality, quantity and diversity that generalize well to
unseen domains. In this work, we present Ego2HandsPose, an extension of
Ego2Hands that contains 3D hand pose annotation and is the first dataset that
enables color-based two-hand 3D tracking in unseen domains. To this end, we
develop a set of parametric fitting algorithms to enable 1) 3D hand pose
annotation using a single image, 2) automatic conversion from 2D to 3D hand
poses and 3) accurate two-hand tracking with temporal consistency. We provide
incremental quantitative analysis on the multi-stage pipeline and show that
training on our dataset achieves state-of-the-art results that significantly
outperforms other datasets for the task of egocentric two-hand global 3D pose
estimation.
- Abstract(参考訳): グローバル座標系における色に基づく2次元ポーズ推定は多くの応用において不可欠である。
しかし、このタスク専用のデータセットはほとんどなく、既存のデータセットは非作業環境での見積もりをサポートしない。
これは主に、3Dハンドポーズアノテーションに必要な高度なデータ収集プロセスによるものであり、また、野生での見積もりに必要な視覚的多様性のレベルを持つインスタンスを取得するのが困難である。
この目標に向けて、大規模なデータセットであるEgo2Handsが最近提案され、野生における両手のセグメンテーションと検出の課題に対処した。
合成に基づくデータ生成手法では, 品質, 量, 多様性の両手インスタンスを作成でき, 未知の領域によく一般化できる。
本稿では,ego2handsposeという3dハンドポーズアノテーションを含むego2handsの拡張について紹介する。
この目的を達成するためにパラメトリックフィッティングアルゴリズムのセットを開発する。
1)単一画像を用いた3次元手ポーズアノテーション
2) 2次元から3次元への自動変換,及び
3) 時間的整合性のある正確な両手追跡。
我々は,多段階パイプラインのインクリメンタルな定量的分析を行い,我々のデータセットによるトレーニングが,エゴセントリックなグローバルな3Dポーズ推定のタスクにおいて,他のデータセットよりも大幅に優れていることを示す。
関連論文リスト
- HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed
Distance Fields [96.04424738803667]
HOISDFは手動ポーズ推定ネットワークである。
手とオブジェクトのSDFを利用して、完全な再構築ボリュームに対してグローバルで暗黙的な表現を提供する。
そこで, HOISDFは手動ポーズ推定ベンチマークにおいて, 最先端の結果が得られることを示す。
論文 参考訳(メタデータ) (2024-02-26T22:48:37Z) - WildScenes: A Benchmark for 2D and 3D Semantic Segmentation in
Large-scale Natural Environments [34.24004079703609]
WildScenesは、自然環境における複数の大規模データセットからなる、バイモーダルなベンチマークデータセットである。
データは軌道中心であり、正確なローカライゼーションとグローバルに整列した点雲がある。
本稿では,2次元および3次元セマンティックセマンティックセグメンテーションのベンチマークを導入し,近年のディープラーニング技術の評価を行う。
論文 参考訳(メタデータ) (2023-12-23T22:27:40Z) - Decanus to Legatus: Synthetic training for 2D-3D human pose lifting [26.108023246654646]
10個の手作り3Dポーズ(Decanus)に基づく3Dポーズ分布から無限個の合成人間のポーズ(Legatus)を生成するアルゴリズムを提案する。
この結果から,特定データセットの実際のデータを用いた手法に匹敵する3次元ポーズ推定性能を,ゼロショット設定で実現し,フレームワークの可能性を示した。
論文 参考訳(メタデータ) (2022-10-05T13:10:19Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳(メタデータ) (2022-03-29T07:14:58Z) - Graph-Based 3D Multi-Person Pose Estimation Using Multi-View Images [79.70127290464514]
我々は,タスクを2つの段階,すなわち人物のローカライゼーションとポーズ推定に分解する。
また,効率的なメッセージパッシングのための3つのタスク固有グラフニューラルネットワークを提案する。
提案手法は,CMU Panoptic と Shelf のデータセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2021-09-13T11:44:07Z) - RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB
Video [76.86512780916827]
本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。
RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。
RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
論文 参考訳(メタデータ) (2021-06-22T12:53:56Z) - HandsFormer: Keypoint Transformer for Monocular 3D Pose Estimation
ofHands and Object in Interaction [33.661745138578596]
単色画像からの密接な相互作用で両手の3次元ポーズを推定する頑健で正確な手法を提案する。
本手法は, 両手関節の電位2d位置をヒートマップの極値として抽出することから始まる。
これらの位置の外観と空間エンコーディングを変圧器への入力として使用し、注意メカニズムを利用して関節の正しい構成を整理します。
論文 参考訳(メタデータ) (2021-04-29T20:19:20Z) - Two-hand Global 3D Pose Estimation Using Monocular RGB [0.0]
我々は、単眼のRGB入力画像のみを用いて、両手のグローバルな3D関節位置を推定する難しい課題に取り組む。
本稿では,手の位置を正確に把握する多段階畳み込みニューラルネットワークに基づくパイプラインを提案する。
RGBのみの入力を用いて両手の3Dハンドトラッキングを高精度に行う。
論文 参考訳(メタデータ) (2020-06-01T23:53:52Z) - Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D
Human Pose Estimation [107.07047303858664]
3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。
既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。
結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
論文 参考訳(メタデータ) (2020-04-07T20:21:18Z) - HOPE-Net: A Graph-based Model for Hand-Object Pose Estimation [7.559220068352681]
本稿では,2次元と3次元で手とオブジェクトのポーズをリアルタイムに推定するHOPE-Netという軽量モデルを提案する。
我々のネットワークは2つの適応グラフ畳み込みニューラルネットワークのカスケードを用いており、1つは手関節と物体角の2D座標を推定し、もう1つは2D座標を3Dに変換する。
論文 参考訳(メタデータ) (2020-03-31T19:01:42Z) - Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and
Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。
本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文 参考訳(メタデータ) (2020-03-30T19:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。