論文の概要: Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera

• arxiv url: http://arxiv.org/abs/2106.08059v1
• Date: Tue, 15 Jun 2021 11:39:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:11:23.615700
• Title: Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera
• Title（参考訳）: 単一深度カメラを用いた2つのハンドの実時間姿勢と形状復元
• Authors: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A. Otaduy, Dan Casas, Christian Theobalt
• Abstract要約: 本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。 われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。 過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
• 参考スコア（独自算出の注目度）: 79.41374930171469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel method for real-time pose and shape reconstruction of two strongly interacting hands. Our approach is the first two-hand tracking solution that combines an extensive list of favorable properties, namely it is marker-less, uses a single consumer-level depth camera, runs in real time, handles inter- and intra-hand collisions, and automatically adjusts to the user's hand shape. In order to achieve this, we embed a recent parametric hand pose and shape model and a dense correspondence predictor based on a deep neural network into a suitable energy minimization framework. For training the correspondence prediction network, we synthesize a two-hand dataset based on physical simulations that includes both hand pose and shape annotations while at the same time avoiding inter-hand penetrations. To achieve real-time rates, we phrase the model fitting in terms of a nonlinear least-squares problem so that the energy can be optimized based on a highly efficient GPU-based Gauss-Newton optimizer. We show state-of-the-art results in scenes that exceed the complexity level demonstrated by previous work, including tight two-hand grasps, significant inter-hand occlusions, and gesture interaction.
• Abstract（参考訳）: 本稿では,2つの強く相互作用する手のリアルタイムポーズと形状復元のための新しい手法を提案する。 提案手法は, マーカーレス, 1台の消費者レベルの深度カメラを使用し, リアルタイムに動作し, 手の衝突を処理し, ユーザの手形に自動的に適応する, 幅広い特性を組み合わせる, 初の双方向追跡ソリューションである。 これを実現するために,最近のパラメトリックハンドポーズ・シェイプモデルと,ディープニューラルネットワークに基づく高密度対応予測器を,適切なエネルギー最小化フレームワークに組み込む。 対応予測ネットワークを訓練するために,手の位置と形状のアノテーションを含む物理シミュレーションに基づいて,手間の侵入を回避しながら,両手データセットを合成する。 実時間レートを達成するために、非線形最小二乗問題の観点からモデル適合を表現し、高効率なGPUベースガウスニュートン最適化器に基づいてエネルギーを最適化する。 両手握り,有意な咬合,ジェスチャーインタラクションなど,従来の作業で示されていた複雑性レベルを超える場面で,最先端の結果を示す。

関連論文リスト

• FastGrasp: Efficient Grasp Synthesis with Diffusion [25.91329341243337]
  本稿では,一段階的に把握ポーズを生成する拡散モデルに基づく新しいアプローチを提案する。 これにより、生成速度と生成した手ポーズの多様性を大幅に改善できる。 提案手法は,最先端手法よりも高速な推論,多様性の向上,ポーズの質の向上を実現している。
  論文  参考訳（メタデータ） (2024-11-22T08:06:32Z)
• DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
  DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。 ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。 標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-26T00:08:29Z)
• Lightweight Estimation of Hand Mesh and Biomechanically Feasible Kinematic Parameters [9.477719717840683]
  画像から手メッシュを効率的に推定するために,従来提案していた画像-画像-画像間アプローチの効率的なバリエーションを提案する。 Inverted kinematic (IK) network to convert the estimated hand mesh to a biomechanically feasible set of joint rotation parameters。 我々のLite I2L Mesh Netは、計算複雑性全体の13%以下で最先端の関節およびメッシュ推定精度を達成する。
  論文  参考訳（メタデータ） (2023-03-26T22:24:12Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• Im2Hands: Learning Attentive Implicit Representation of Interacting Two-Hand Shapes [58.551154822792284]
  Implicit Two Hands (Im2Hands) は、2つの相互作用する手の最初の暗黙の表現である。 Im2Handsは、両手と手と手と画像のコヒーレンシーの高い2つの手のきめ細かい幾何学を生成することができる。 両手再建におけるIm2Handsの有効性を, 関連手法と比較して実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-28T06:38:25Z)
• Tracking and Reconstructing Hand Object Interactions from Point Cloud Sequences in the Wild [35.55753131098285]
  本稿では,手関節運動を推定するために,点クラウドを用いた手関節追跡ネットワークであるHandTrackNetを提案する。 このパイプラインは,予測ハンドジョイントをテンプレートベースパラメトリックハンドモデルMANOに変換することで,全ハンドを再構築する。 オブジェクトトラッキングでは,オブジェクトSDFを第1フレームから推定し,最適化に基づくトラッキングを行う,シンプルで効果的なモジュールを考案する。
  論文  参考訳（メタデータ） (2022-09-24T13:40:09Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• NeuroMorph: Unsupervised Shape Interpolation and Correspondence in One Go [109.88509362837475]
  入力2つの3次元形状を考慮したニューラルネットワークアーキテクチャであるNeuroMorphを提案する。 NeuroMorphはそれらの間のスムーズかつポイントツーポイント対応を生成する。 異なる対象カテゴリの非等尺性ペアを含む、さまざまな入力形状に対してうまく機能する。
  論文  参考訳（メタデータ） (2021-06-17T12:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。