論文の概要: DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image

• arxiv url: http://arxiv.org/abs/2406.17988v1
• Date: Wed, 26 Jun 2024 00:08:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 15:07:42.337297
• Title: DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image
• Title（参考訳）: DICE:単一画像からの手と顔のインタラクションのエンドツーエンドな変形キャプチャ
• Authors: Qingxuan Wu, Zhiyang Dou, Sirui Xu, Soshi Shimada, Chen Wang, Zhengming Yu, Yuan Liu, Cheng Lin, Zeyu Cao, Taku Komura, Vladislav Golyanik, Christian Theobalt, Wenping Wang, Lingjie Liu,
• Abstract要約: DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。 ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。 標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 98.29284902879652
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reconstructing 3D hand-face interactions with deformations from a single image is a challenging yet crucial task with broad applications in AR, VR, and gaming. The challenges stem from self-occlusions during single-view hand-face interactions, diverse spatial relationships between hands and face, complex deformations, and the ambiguity of the single-view setting. The first and only method for hand-face interaction recovery, Decaf, introduces a global fitting optimization guided by contact and deformation estimation networks trained on studio-collected data with 3D annotations. However, Decaf suffers from a time-consuming optimization process and limited generalization capability due to its reliance on 3D annotations of hand-face interaction data. To address these issues, we present DICE, the first end-to-end method for Deformation-aware hand-face Interaction reCovEry from a single image. DICE estimates the poses of hands and faces, contacts, and deformations simultaneously using a Transformer-based architecture. It features disentangling the regression of local deformation fields and global mesh vertex locations into two network branches, enhancing deformation and contact estimation for precise and robust hand-face mesh recovery. To improve generalizability, we propose a weakly-supervised training approach that augments the training set using in-the-wild images without 3D ground-truth annotations, employing the depths of 2D keypoints estimated by off-the-shelf models and adversarial priors of poses for supervision. Our experiments demonstrate that DICE achieves state-of-the-art performance on a standard benchmark and in-the-wild data in terms of accuracy and physical plausibility. Additionally, our method operates at an interactive rate (20 fps) on an Nvidia 4090 GPU, whereas Decaf requires more than 15 seconds for a single image. Our code will be publicly available upon publication.
• Abstract（参考訳）: 単一の画像からの変形による3Dハンドフェイスインタラクションの再構築は、AR、VR、ゲームにおける幅広い応用において、難しいが重要な課題である。 課題は、シングルビューの対面相互作用における自己閉塞、手と顔の間の多様な空間的関係、複雑な変形、およびシングルビューの設定の曖昧さに起因している。 本手法は,3次元アノテーションを用いたスタジオ合成データに基づく接触・変形推定ネットワークによって導かれるグローバルな適合性最適化を実現する。 しかし,手話インタラクションデータの3Dアノテーションに依存しているため,Decafは時間を要する最適化プロセスと限定的な一般化能力に悩まされている。 これらの問題に対処するため、DICEは1つの画像から変形を認識可能な手顔インタラクションリコブエリーのエンド・ツー・エンドの手法である。 DICEは、Transformerベースのアーキテクチャを使用して、手、顔、接触、変形のポーズを同時に推定する。 局所的な変形場とグローバルメッシュ頂点位置の回帰を2つのネットワークブランチに切り離し、精密で堅牢なハンドフェイスメッシュ回復のための変形と接触推定を強化する。 一般化性を向上させるために,本研究では,3次元地平線アノテーションを使わずに,地平線画像を用いたトレーニングセットを弱教師付きトレーニング手法を提案する。 実験により,DICEは標準ベンチマークと実機データに対して,精度と物理的妥当性の点で最先端の性能を達成できることが実証された。 さらに,この手法はNvidia 4090 GPU上で20fpsの対話速度で動作させるのに対して,Decafでは1枚の画像に対して15秒以上を要する。 私たちのコードは出版時に公開されます。

関連論文リスト

• Learning Interaction-aware 3D Gaussian Splatting for One-shot Hand Avatars [47.61442517627826]
  本稿では,3次元ガウススプラッティング(GS)と単一画像入力と手を相互作用するアニマタブルアバターを提案する。 提案手法は大規模なInterHand2.6Mデータセットの広範な実験により検証される。
  論文  参考訳（メタデータ） (2024-10-11T14:14:51Z)
• HandDGP: Camera-Space Hand Mesh Prediction with Differentiable Global Positioning [1.4515751892711464]
  本稿では,2D-3D対応問題に対処するエンドツーエンドソリューションを提案する。 このソリューションは、新しい差別化可能なグローバル位置決めモジュールを通じて、カメラ空間出力からネットワークの他の部分へのバックプロパゲーションを可能にする。 いくつかのベースラインと最先端のアプローチに対する評価において、我々のフレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2024-07-22T17:59:01Z)
• 3D Hand Mesh Recovery from Monocular RGB in Camera Space [3.0453197258042213]
  本研究では,ルート相対格子とルート回復タスクの並列処理を行うネットワークモデルを提案する。 暗黙的な学習手法を2次元ヒートマップに適用し、異なるサブタスク間の2次元キューの互換性を向上させる。 提案モデルは最先端のモデルに匹敵する。
  論文  参考訳（メタデータ） (2024-05-12T05:36:37Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera [79.41374930171469]
  本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。 われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。 過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
  論文  参考訳（メタデータ） (2021-06-15T11:39:49Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。