論文の概要: Hand in Silhouette: Synthetic-to-Real Multi-View Hand Reconstruction via Binary Masks
- arxiv url: http://arxiv.org/abs/2611.16339v1
- Date: Thu, 12 Nov 2026 05:59:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.372926
- Title: Hand in Silhouette: Synthetic-to-Real Multi-View Hand Reconstruction via Binary Masks
- Title(参考訳): シルエットのハンド:2つのマスクによる合成からリアルタイムのマルチビューハンドコンストラクション
- Abstract要約: Hand in Silhouette (SilHand) は、バイナリハンドマスク上で動作する多視点ハンドコンストラクションフレームワークである。
SilHandは、3Dの仮説をそれぞれの視点に投影し、手再構成のためのマスク線証拠を照会し、融合させる。
相対復元精度は49.2%から63.4%に向上する。
- 参考スコア(独自算出の注目度): 3.849756345457244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Calibrated multi-view hand reconstruction has advanced rapidly, yet the effectiveness of existing methods depends strongly on real captured data, which is costly to acquire, limited in hand-geometry diversity, and often affected by imperfect annotations. Synthetic data offers a scalable alternative with accurate supervision, but a substantial synthetic-to-real appearance gap hinders its use. To address this, we introduce Hand in Silhouette (SilHand), a calibrated multi-view hand reconstruction framework that operates on binary hand masks, obtainable at low cost either automatically or manually, to reduce the synthetic-to-real observation gap. Rather than relying on RGB features for 3D lifting, SilHand projects metric 3D hypotheses into each view to query and fuse mask-ray evidence for hand reconstruction. This mask-centric formulation enables training on a large-scale synthetic dataset comprising 46.8k grasping poses and 60k free-hand samples, providing broad coverage of hand geometry while directly transferring to real captured hand geometry. Across five real-world benchmarks, SilHand improves relative reconstruction accuracy from 49.2% to 63.4% using masks rendered from reference hands. Moreover, reconstruction accuracy improves consistently as the synthetic training set grows, indicating that broader geometric coverage translates into better real-world performance. While achieving such diversity is difficult with real captured data, it becomes practical under our mask-centric formulation. Finally, SilHand remains robust under mask corruption, with reconstruction error increasing by at most 1.63 mm. Together, these results support binary masks as an effective interface for learning hand reconstruction from synthetic geometry.
- Abstract(参考訳): キャリブレーションされた多視点ハンドリコンストラクションは急速に進歩しているが、既存の手法の有効性は、取得にコストがかかり、手形状の多様性が制限され、しばしば不完全なアノテーションの影響を受けやすい、実際のキャプチャーデータに強く依存している。
合成データは、正確な監視を行うスケーラブルな代替手段を提供するが、実質的な合成と実際の外観のギャップは、その使用を妨げる。
そこで本研究では,2値ハンドマスク上で動作し,自動または手動で低コストで取得可能な多視点ハンド再構成フレームワークであるHand in Silhouette(SilHand)を導入し,合成と実の観測ギャップを低減した。
3DリフトのRGB機能に頼るのではなく、SilHandは各ビューに3D仮説を投影して、手再建のためのマスク線証拠を検索し、融合させる。
このマスク中心の定式化により、46.8kのグリーディングポーズと60kのフリーハンドサンプルからなる大規模な合成データセットのトレーニングが可能となり、手形状を広範囲にカバーし、実際の手形状に直接転送することができる。
実世界の5つのベンチマークで、SilHandは相対再構成の精度を49.2%から63.4%に改善した。
さらに、合成トレーニングセットが大きくなるにつれて、再構成精度は一貫して向上し、より広い幾何学的カバレッジが現実世界のパフォーマンス向上に寄与することを示す。
このような多様性を達成することは、実際のキャプチャーデータでは難しいが、マスク中心の定式化の下では実用的になる。
最後に、SilHandはマスクの破損により頑丈であり、復元誤差は少なくとも1.63mm増加する。
これらの結果は、合成幾何学から手再構成を学ぶための効果的なインタフェースとしてバイナリマスクをサポートする。
関連論文リスト
- VEPHand: View-Efficient Photometric Hand Performance Capture at Scale [27.713586141581498]
本稿では,動的ハンドパフォーマンスキャプチャと登録のためのエンドツーエンドパイプラインを提案する。
本手法は,ビュー効率,非マスキングシナリオ,高精度な登録において,最先端の再現性を実現する。
論文 参考訳(メタデータ) (2026-06-14T18:47:44Z) - MaskHOI: Robust 3D Hand-Object Interaction Estimation via Masked Pre-training [23.200848479769903]
MaskHOIは、新しいMasked AutoencoderによるHOIポーズ推定のための事前トレーニングフレームワークである。
我々の中核となる考え方は、MAEのマスキング・ザ・リコンストラクション戦略を利用して、特徴エンコーダが欠落した空間情報や構造情報を推測することを奨励することである。
本研究では,事前学習したエンコーダの幾何学的認識を高めるために,新しいMasked Signed Distance Field(SDF)駆動マルチモーダル学習機構を導入する。
論文 参考訳(メタデータ) (2025-07-18T05:52:37Z) - XHand: Real-time Expressive Hand Avatar [9.876680405587745]
我々は,手形,外観,変形をリアルタイムで生成できる表現力のある手形アバターXHandを紹介した。
XHandは、さまざまなポーズをリアルタイムで横断する手動アニメーションのための高忠実な幾何学とテクスチャを復元することができる。
論文 参考訳(メタデータ) (2024-07-30T17:49:21Z) - MLPHand: Real Time Multi-View 3D Hand Mesh Reconstruction via MLP Modeling [54.54190158459534]
マルチビューハンドリコンストラクションは、バーチャルリアリティー・ヒューマン・コンピュータ・インタラクションにおけるアプリケーションにとって重要な課題である。
HandHandは,(1)軽量な骨格から手メッシュを効率的に回収するSkeleton2Meshモデル,(2)多視点形状特徴融合予測モジュールの2つの主要モジュールから構成される。
3つの広く使用されているデータセットの実験により、HandHandは既存の最先端ベースラインの複雑さに匹敵する精度を達成しながら、再構築を90%削減できることが示された。
論文 参考訳(メタデータ) (2024-06-23T15:18:30Z) - HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。
まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。
そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
論文 参考訳(メタデータ) (2024-03-27T13:56:08Z) - Overcoming the Trade-off Between Accuracy and Plausibility in 3D Hand
Shape Reconstruction [62.96478903239799]
3次元手形状復元のための直接メッシュフィッティングは非常に正確である。
しかし、再建されたメッシュはアーティファクトに傾向があり、もっともらしい手の形には見えない。
本稿では,MANOモデルと非パラメトリックメッシュフィッティングをエンドツーエンドで統合した手形状推定フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-01T03:38:01Z) - MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with
Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。
本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。
マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
論文 参考訳(メタデータ) (2022-12-20T01:53:40Z) - Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ
本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。
高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
論文 参考訳(メタデータ) (2021-09-03T20:42:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。