論文の概要: Tracking and Reconstructing Hand Object Interactions from Point Cloud
Sequences in the Wild
- arxiv url: http://arxiv.org/abs/2209.12009v1
- Date: Sat, 24 Sep 2022 13:40:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 16:06:25.285425
- Title: Tracking and Reconstructing Hand Object Interactions from Point Cloud
Sequences in the Wild
- Title(参考訳): 野生の点雲列からのハンドオブジェクトインタラクションの追跡と再構成
- Authors: Jiayi Chen, Mi Yan, Jiazhao Zhang, Yinzhen Xu, Xiaolong Li, Yijia
Weng, Li Yi, Shuran Song, He Wang
- Abstract要約: 本稿では,手関節運動を推定するために,点クラウドを用いた手関節追跡ネットワークであるHandTrackNetを提案する。
このパイプラインは,予測ハンドジョイントをテンプレートベースパラメトリックハンドモデルMANOに変換することで,全ハンドを再構築する。
オブジェクトトラッキングでは,オブジェクトSDFを第1フレームから推定し,最適化に基づくトラッキングを行う,シンプルで効果的なモジュールを考案する。
- 参考スコア(独自算出の注目度): 35.55753131098285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we tackle the challenging task of jointly tracking hand object
pose and reconstructing their shapes from depth point cloud sequences in the
wild, given the initial poses at frame 0. We for the first time propose a point
cloud based hand joint tracking network, HandTrackNet, to estimate the
inter-frame hand joint motion. Our HandTrackNet proposes a novel hand pose
canonicalization module to ease the tracking task, yielding accurate and robust
hand joint tracking. Our pipeline then reconstructs the full hand via
converting the predicted hand joints into a template-based parametric hand
model MANO. For object tracking, we devise a simple yet effective module that
estimates the object SDF from the first frame and performs optimization-based
tracking. Finally, a joint optimization step is adopted to perform joint hand
and object reasoning, which alleviates the occlusion-induced ambiguity and
further refines the hand pose. During training, the whole pipeline only sees
purely synthetic data, which are synthesized with sufficient variations and by
depth simulation for the ease of generalization. The whole pipeline is
pertinent to the generalization gaps and thus directly transferable to real
in-the-wild data. We evaluate our method on two real hand object interaction
datasets, e.g. HO3D and DexYCB, without any finetuning. Our experiments
demonstrate that the proposed method significantly outperforms the previous
state-of-the-art depth-based hand and object pose estimation and tracking
methods, running at a frame rate of 9 FPS.
- Abstract(参考訳): 本研究は, フレーム0における初期ポーズを考慮し, 対象のポーズを共同で追跡し, 野生の深度点雲列から形状を再構築する課題に取り組む。
我々は初めて、フレーム間ハンドジョイント動作を推定するために、ポイントクラウドベースのハンドジョイントトラッキングネットワークであるHandTrackNetを提案する。
我々のHandTrackNetは、トラッキング作業を容易にし、正確で堅牢なハンドジョイントトラッキングを実現するために、新しい手ポーズ標準化モジュールを提案する。
このパイプラインは,予測ハンドジョイントをテンプレートベースパラメトリックハンドモデルMANOに変換することで,全ハンドを再構築する。
オブジェクトトラッキングでは,オブジェクトSDFを第1フレームから推定し,最適化に基づくトラッキングを行う,シンプルで効果的なモジュールを考案する。
最後に、結合最適化ステップを採用して、結合手と物体の推論を行い、閉塞によるあいまいさを軽減し、さらに手ポーズを洗練させる。
訓練中、パイプライン全体は純粋に合成されたデータしか見えず、それらは十分なバリエーションと一般化の容易さのために深さシミュレーションによって合成される。
パイプライン全体は一般化ギャップに関係しており、したがって実際の内蔵データに直接転送可能である。
本稿では,ho3d と dexycb の2つの実ハンドオブジェクトインタラクションデータセットについて,微調整を行わずに評価を行う。
提案手法は,9FPSのフレームレートで動作することにより,従来の最先端の深度に基づく手とオブジェクトのポーズ推定・追跡手法を著しく上回ることを示す。
関連論文リスト
- Realistic Full-Body Tracking from Sparse Observations via Joint-Level
Modeling [13.284947022380404]
頭部と手の3つの追跡信号だけで、正確でスムーズな全身運動を得ることができる2段階のフレームワークを提案する。
本フレームワークは,第1段階の関節レベル特徴を明示的にモデル化し,第2段階の関節レベル相関を捉えるために,空間的および時間的トランスフォーマーブロックの交互化に時間的トークンとして利用する。
AMASSモーションデータセットと実捕集データに関する広範な実験により,提案手法は既存の手法と比較して,より正確で滑らかな動きを実現することができることを示す。
論文 参考訳(メタデータ) (2023-08-17T08:27:55Z) - HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。
我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
論文 参考訳(メタデータ) (2023-03-24T06:19:19Z) - What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。
通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
論文 参考訳(メタデータ) (2022-04-14T17:59:02Z) - Exploring Simple 3D Multi-Object Tracking for Autonomous Driving [10.921208239968827]
LiDARポイントクラウドにおける3Dマルチオブジェクトトラッキングは、自動運転車にとって重要な要素である。
既存の手法は、主にトラッキング・バイ・検出パイプラインに基づいており、検出アソシエーションのマッチングステップが必然的に必要である。
我々は,手作りの追跡パラダイムをシンプルにするために,原点雲からの共同検出と追跡のためのエンドツーエンドのトレーニング可能なモデルを提案する。
論文 参考訳(メタデータ) (2021-08-23T17:59:22Z) - Real-time Pose and Shape Reconstruction of Two Interacting Hands With a
Single Depth Camera [79.41374930171469]
本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。
われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。
過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
論文 参考訳(メタデータ) (2021-06-15T11:39:49Z) - Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection
Consistency [114.02182755620784]
本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。
筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
論文 参考訳(メタデータ) (2021-02-04T14:26:42Z) - "What's This?" -- Learning to Segment Unknown Objects from Manipulation
Sequences [27.915309216800125]
本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。
本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。
我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
論文 参考訳(メタデータ) (2020-11-06T10:55:28Z) - Joint Hand-object 3D Reconstruction from a Single Image with
Cross-branch Feature Fusion [78.98074380040838]
特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。
入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。
提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
論文 参考訳(メタデータ) (2020-06-28T09:50:25Z) - Leveraging Photometric Consistency over Time for Sparsely Supervised
Hand-Object Reconstruction [118.21363599332493]
本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。
本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。
提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
論文 参考訳(メタデータ) (2020-04-28T12:03:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。