論文の概要: Tracking and Reconstructing Hand Object Interactions from Point Cloud Sequences in the Wild

• arxiv url: http://arxiv.org/abs/2209.12009v1
• Date: Sat, 24 Sep 2022 13:40:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 16:06:25.285425
• Title: Tracking and Reconstructing Hand Object Interactions from Point Cloud Sequences in the Wild
• Title（参考訳）: 野生の点雲列からのハンドオブジェクトインタラクションの追跡と再構成
• Authors: Jiayi Chen, Mi Yan, Jiazhao Zhang, Yinzhen Xu, Xiaolong Li, Yijia Weng, Li Yi, Shuran Song, He Wang
• Abstract要約: 本稿では,手関節運動を推定するために,点クラウドを用いた手関節追跡ネットワークであるHandTrackNetを提案する。 このパイプラインは,予測ハンドジョイントをテンプレートベースパラメトリックハンドモデルMANOに変換することで,全ハンドを再構築する。 オブジェクトトラッキングでは,オブジェクトSDFを第1フレームから推定し,最適化に基づくトラッキングを行う,シンプルで効果的なモジュールを考案する。
• 参考スコア（独自算出の注目度）: 35.55753131098285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we tackle the challenging task of jointly tracking hand object pose and reconstructing their shapes from depth point cloud sequences in the wild, given the initial poses at frame 0. We for the first time propose a point cloud based hand joint tracking network, HandTrackNet, to estimate the inter-frame hand joint motion. Our HandTrackNet proposes a novel hand pose canonicalization module to ease the tracking task, yielding accurate and robust hand joint tracking. Our pipeline then reconstructs the full hand via converting the predicted hand joints into a template-based parametric hand model MANO. For object tracking, we devise a simple yet effective module that estimates the object SDF from the first frame and performs optimization-based tracking. Finally, a joint optimization step is adopted to perform joint hand and object reasoning, which alleviates the occlusion-induced ambiguity and further refines the hand pose. During training, the whole pipeline only sees purely synthetic data, which are synthesized with sufficient variations and by depth simulation for the ease of generalization. The whole pipeline is pertinent to the generalization gaps and thus directly transferable to real in-the-wild data. We evaluate our method on two real hand object interaction datasets, e.g. HO3D and DexYCB, without any finetuning. Our experiments demonstrate that the proposed method significantly outperforms the previous state-of-the-art depth-based hand and object pose estimation and tracking methods, running at a frame rate of 9 FPS.
• Abstract（参考訳）: 本研究は, フレーム0における初期ポーズを考慮し, 対象のポーズを共同で追跡し, 野生の深度点雲列から形状を再構築する課題に取り組む。 我々は初めて、フレーム間ハンドジョイント動作を推定するために、ポイントクラウドベースのハンドジョイントトラッキングネットワークであるHandTrackNetを提案する。 我々のHandTrackNetは、トラッキング作業を容易にし、正確で堅牢なハンドジョイントトラッキングを実現するために、新しい手ポーズ標準化モジュールを提案する。 このパイプラインは,予測ハンドジョイントをテンプレートベースパラメトリックハンドモデルMANOに変換することで,全ハンドを再構築する。 オブジェクトトラッキングでは,オブジェクトSDFを第1フレームから推定し,最適化に基づくトラッキングを行う,シンプルで効果的なモジュールを考案する。 最後に、結合最適化ステップを採用して、結合手と物体の推論を行い、閉塞によるあいまいさを軽減し、さらに手ポーズを洗練させる。 訓練中、パイプライン全体は純粋に合成されたデータしか見えず、それらは十分なバリエーションと一般化の容易さのために深さシミュレーションによって合成される。 パイプライン全体は一般化ギャップに関係しており、したがって実際の内蔵データに直接転送可能である。 本稿では,ho3d と dexycb の2つの実ハンドオブジェクトインタラクションデータセットについて,微調整を行わずに評価を行う。 提案手法は,9FPSのフレームレートで動作することにより,従来の最先端の深度に基づく手とオブジェクトのポーズ推定・追跡手法を著しく上回ることを示す。

関連論文リスト

• Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
  アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。 従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。 本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:59:56Z)
• ManiDext: Hand-Object Manipulation Synthesis via Continuous Correspondence Embeddings and Residual-Guided Diffusion [36.9457697304841]
  ManiDextは、手操作やポーズを把握するための階層的な拡散ベースの統合フレームワークである。 私たちの重要な洞察は、相互作用中の物体と手との接触関係を正確にモデル化することが重要であるということです。 本フレームワークは,まず,物体表面への接触マップと対応埋め込みを生成する。 これらの微粒な対応に基づき,拡散過程に反復的精錬プロセスを統合する新しいアプローチを導入する。
  論文  参考訳（メタデータ） (2024-09-14T04:28:44Z)
• DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
  DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。 ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。 標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-26T00:08:29Z)
• Realistic Full-Body Tracking from Sparse Observations via Joint-Level Modeling [13.284947022380404]
  頭部と手の3つの追跡信号だけで、正確でスムーズな全身運動を得ることができる2段階のフレームワークを提案する。 本フレームワークは,第1段階の関節レベル特徴を明示的にモデル化し,第2段階の関節レベル相関を捉えるために,空間的および時間的トランスフォーマーブロックの交互化に時間的トークンとして利用する。 AMASSモーションデータセットと実捕集データに関する広範な実験により,提案手法は既存の手法と比較して,より正確で滑らかな動きを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-08-17T08:27:55Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera [79.41374930171469]
  本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。 われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。 過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
  論文  参考訳（メタデータ） (2021-06-15T11:39:49Z)
• "What's This?" -- Learning to Segment Unknown Objects from Manipulation Sequences [27.915309216800125]
  本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。 本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。 我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
  論文  参考訳（メタデータ） (2020-11-06T10:55:28Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。