論文の概要: VEPHand: View-Efficient Photometric Hand Performance Capture at Scale

• arxiv url: http://arxiv.org/abs/2606.15966v2
• Date: Thu, 18 Jun 2026 16:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 13:55:51.600837
• Title: VEPHand: View-Efficient Photometric Hand Performance Capture at Scale
• Title（参考訳）: VEPHand: ビュー効率の良い測光ハンドパフォーマンスキャプチャー
• Authors: Zhengyang Shen, Kai-Hung Chang, Erroll Wood, Deying Kong, Bo Peng, Timo Bolkart, Jinlong Yang, Bowen Zhao, Danhang Tang, Sasa Petrovic, Emre Aksan, Jérémy Riviere, Vassilis Choutas, Delio Vicini, Jay Busch, Shichen Liu, Zhe Cao, Hugh Liu, JingJing Shen, Jonathan Taylor, Mingsong Dou,
• Abstract要約: 本稿では,動的ハンドパフォーマンスキャプチャと登録のためのエンドツーエンドパイプラインを提案する。 本手法は,ビュー効率,非マスキングシナリオ,高精度な登録において,最先端の再現性を実現する。
• 参考スコア（独自算出の注目度）: 27.713586141581498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust, high-fidelity 3D hand capture, while fundamental to digital human creation, remains challenging with practical multi-view systems that balance rich photometry with the geometric ambiguities of reconstruction arising from limited viewpoint density. This paper presents an end-to-end pipeline for dynamic hand performance capture and registration, specifically designed for view-efficient setups ($\sim$20 views). We address key challenges with two primary innovations. First, to overcome reconstruction difficulties like limited view overlap and background clutter, our mask-free neural method robustly extracts detailed hand geometry and appearance from unmasked images using scene parameterization and scenario-specific density regularization. Second, addressing registration challenges such as accurately capturing non-linear skin deformations and ensuring plausible results during severe self-contact, we propose a physics-inspired framework. It aligns reconstructions to a personalized hand model by optimizing intrinsic volumetric offsets within its canonical tetrahedral mesh, alongside pose parameters. This approach, supported by robust losses and optimization, captures fine surface deformations, ensures plausible results under severe articulation and self-contact, and demonstrates strong tolerance to input noise. We demonstrate the scalability and robustness of our automated pipeline on an extensive dataset of over 12,000 sequences, from which we also derive a large-scale, high-quality synthetic 2D/3D hand dataset for training downstream tasks. This showcases its effectiveness for single hands, intricate two-hand interactions, and natural hand-object manipulations. Our method achieves state-of-the-art reconstruction fidelity in view-efficient, unmasked scenarios and highly accurate registration. Our project page are available at https://vephand.github.io/.
• Abstract（参考訳）: ロバストで高忠実な3Dハンドキャプチャは、デジタル人間の創造に基礎を置きながら、リッチな光度と、限られた視点密度から生じる幾何的アンビグスとをバランスさせる実用的な多視点システムにおいて、依然として困難である。 本稿では、動的ハンドパフォーマンスのキャプチャと登録のためのエンドツーエンドパイプラインを提案し、ビュー効率のセットアップ用に特別に設計した($20 ビュー)。 2つの主要なイノベーションで、重要な課題に対処します。 まず、視野の重なりや背景の乱れといった再構成の難しさを克服するため、シーンパラメータ化とシナリオ固有密度正規化を用いて、マスクフリーニューラルネットワークにより、未加工画像から詳細な手形状と外観を頑健に抽出する。 第二に, 厳密な自己接触中において, 非線形皮膚の変形を正確に把握し, 妥当な結果を確実にする等の登録課題に対処し, 物理に着想を得た枠組みを提案する。 正準四面体メッシュ内の内在ボリュームオフセットを、ポーズパラメータとともに最適化することにより、パーソナライズされたハンドモデルに再構成を整合させる。 このアプローチは、頑健な損失と最適化によって支持され、表面の微細な変形を捕捉し、厳密な調音および自己接触下での可塑性結果を保証するとともに、入力雑音に対する強い耐性を示す。 ダウンストリームタスクをトレーニングするための大規模かつ高品質な合成2D/3Dハンドデータセットを導出する,12,000以上のシーケンスからなる広範なデータセット上で,自動パイプラインのスケーラビリティと堅牢性を実証する。 これは、シングルハンド、複雑な双方向インタラクション、自然なハンドオブジェクト操作に対する効果を示す。 本手法は,ビュー効率,非マスキングシナリオ,高精度な登録において,最先端の再現性を実現する。 私たちのプロジェクトページはhttps://vephand.github.io/.com/で公開されています。

関連論文リスト

• MASS: Mesh-inellipse Aligned Deformable Surfel Splatting for Hand Reconstruction and Rendering from Egocentric Monocular Video [19.581474149435092]
  高忠実度3Dハンドをエゴセントリックなモノクロビデオから再構築することは、今でも難しい課題だ。 既存の手法は、しばしば高い計算コストを発生させるため、リアルタイムアプリケーションでは実用的ではない。 これらの課題に対処するために,メッシュ・イン楕円アライメント・アライメント・アライメント・デフォルム可能なサーフェルスプラッティングを提案する。
  論文  参考訳（メタデータ） (2026-04-10T04:22:48Z)
• Learning to Align and Refine: A Foundation-to-Diffusion Framework for Occlusion-Robust Two-Hand Reconstruction [50.952228546326516]
  単眼画像からの両手再建は、複雑でダイナミックな手の位置が原因で、永続的な課題に直面している。 既存のアプローチはそのようなアライメントの問題に悩まされ、しばしば不整合と侵入の成果物をもたらす。 本稿では,視覚基礎モデルからの2次元事前ガイダンスを正確に整合させる2段階のファンデーション・ツー・ディフュージョンフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-22T14:42:27Z)
• WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
  野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。 提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。 提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-18T18:46:51Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• Improving Neural Indoor Surface Reconstruction with Mask-Guided Adaptive Consistency Constraints [0.6749750044497732]
  本稿では、ビュー依存色とビュー非依存色を分離する2段階のトレーニングプロセスを提案し、さらに2つの新しい一貫性制約を活用して、余分な事前処理を必要とせず、詳細な再構成性能を向上させる。 合成および実世界のデータセットの実験は、事前推定誤差から干渉を減らす能力を示している。
  論文  参考訳（メタデータ） (2023-09-18T13:05:23Z)
• Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera [79.41374930171469]
  本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。 われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。 過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
  論文  参考訳（メタデータ） (2021-06-15T11:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。