論文の概要: VACO: Vertex-Aligned Decoding for Dense Hand Contact Estimation from a Single Image
- arxiv url: http://arxiv.org/abs/2611.17755v1
- Date: Fri, 13 Nov 2026 05:11:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.307496
- Title: VACO: Vertex-Aligned Decoding for Dense Hand Contact Estimation from a Single Image
- Title(参考訳): VACO:単一画像からの高密度ハンドコンタクト推定のための頂点アライメントデコーディング
- Abstract要約: 直接予測器は通常、1つの共有クエリから頂点ごとの連絡先マップ全体をデコードする。
手再建のバックボーンは、再建と接触のために共同で訓練され、推論時にこれらの位置を予測する。
1つのVACOチェックポイントが、手動オブジェクト、手動、手動シーン、双方向のインタラクションにまたがる5つのベンチマークに、その技術の新たな状態を設定する。
- 参考スコア(独自算出の注目度): 47.31044801389144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dense hand contact estimation from a single RGB image is a foundational primitive for dexterous manipulation and 3D interaction analysis. Direct predictors typically decode the entire per-vertex contact map from one shared query, leaving individual vertices ungrounded in the image and smearing contact across adjacent, non-touching surfaces. We present VACO, a vertex-aligned decoder in which each MANO vertex samples local image features at its projected location. A hand-reconstruction backbone, jointly trained for reconstruction and contact, predicts these locations at inference without an auxiliary reconstructor. Training uses noise-perturbed ground-truth projections and end-to-end feature adaptation to improve robustness and contact-sensitive features. A single VACO checkpoint sets a new state of the art on five benchmarks spanning hand-object, hand-human, hand-scene, and bimanual interactions. It improves F1 by +20.7 pp over the strongest prior direct predictor on Hi4D and generalizes to the held-out HOT3D and HOCap, with gains of +5.5 and +2.7 pp. The resulting contact predictions also improve downstream HOI reconstruction.
- Abstract(参考訳): 単一のRGB画像からの手接触推定は,手動操作と3次元インタラクション解析のための基礎的プリミティブである。
直接予測器は、通常、1つの共有クエリから頂点ごとのコンタクトマップ全体をデコードし、個々の頂点を画像に残し、隣接する非タッチ面に接触する。
提案するVACOは,各MANO頂点が投影位置の局所像特徴をサンプリングする頂点整列デコーダである。
手再建のバックボーンは、再建と接触のために共同で訓練され、補助的な再構成を行うことなく、推論時にこれらの位置を予測する。
トレーニングでは、頑丈さと接触感応性を改善するために、ノイズ・パーターブな接地トラスプロジェクションとエンドツーエンドの特徴適応を使用する。
1つのVACOチェックポイントは、手動オブジェクト、手動、手動、双方向のインタラクションにまたがる5つのベンチマークに、新しい最先端のベンチマークをセットする。
Hi4D 上で最強の直接予測器である HOT3D と HOCap に対して F1 を +20.7 pp で改善し、+5.5 と +2.7 pp のゲインを持つ。
結果として生じる接触予測により、下流のHOI再構成も改善される。
関連論文リスト
- Foundation4D: Towards a unified perception and reconstruction model for autonomous vehicles [50.869471010323956]
Foundation4Dは、幾何学的推定3次元検出、意味的占有、ビデオからのガウス的再構成のための統合フィードフォワードモデルである。
幾何学的占有を伴うコトレーニング検出は、検出のみのトレーニングよりも、トップクラスのmAPを1.2ポイント改善する。
我々はさらに、予測幾何と軌跡をライダーレスNuRecの前駆体として利用し、シミュレーションのための走行シーンの再構築を支援する。
論文 参考訳(メタデータ) (2026-10-21T19:00:46Z) - DenseHap: Dense Hand Haptic Estimation from Monocular Images [12.93507654617985]
DenseHapは,手距離場認識,包括的手接触検出,手圧解析,一眼レフ画像からの手指再建を行う。
DenseHapは、4つの評価データセットで、アートモデルの以前の状態よりも優れています。
論文 参考訳(メタデータ) (2026-10-19T15:32:54Z) - EgoFound3R: End-to-End Egocentric Hand Reconstruction in World Space with Point-Wise Interaction Attributes [18.6677210357203]
EgoFound3Rは、世界空間の手の幾何学を、シーンと共有するメートル法スケールで推定する統一的なエンドツーエンドモデルである。
平均結合位置誤差(MPJPE)を43.2%、22.4%、11.6%削減する。
また、同じパスのジオメトリと並行して点の接触と距離を予測し、スループットはおよそ6倍に向上する。
論文 参考訳(メタデータ) (2026-10-01T07:17:28Z) - FunRec: Reconstructing Functional 3D Scenes from Egocentric Interaction Videos [134.8812117202239]
本稿では,エゴセントリックなRGB-Dインタラクションビデオから直接室内シーンの3次元ディジタル双対を再構成するFunRecを提案する。
本研究では,URDF/USDエクスポートのシミュレーション,手指のアベイランスマッピング,ロボットとシーンのインタラクションへの応用を実演する。
論文 参考訳(メタデータ) (2026-04-07T09:22:12Z) - GraphiContact: Pose-aware Human-Scene Robust Contact Perception for Interactive Systems [17.089112324421468]
本研究では,2つの事前訓練されたトランスフォーマーエンコーダから人間の先行情報を転送し,再構成メッシュ上での頂点ごとの人間とシーンの接触を予測する。
5つのベンチマークデータセットの実験により、GraphiContactは、接触予測と3D人間の再構築の両方で一貫した利得を達成している。
GraphiContact法をベースとしたコードでは,人間の3次元再構成とインタラクション解析を包括的に行う。
論文 参考訳(メタデータ) (2026-03-19T17:17:04Z) - GRACE: Estimating Geometry-level 3D Human-Scene Contact from 2D Images [54.602947113980655]
人景接触の幾何レベルを推定することは、特定の接触面点を3次元の人間ジオメトリに接することを目的としている。
GRACE(Geometry-level Reasoning for 3D Human-scene Contact Estimation)は,3次元接触推定のための新しいパラダイムである。
ポイントクラウドエンコーダ/デコーダアーキテクチャと階層的特徴抽出と融合モジュールが組み込まれている。
論文 参考訳(メタデータ) (2025-05-10T09:25:46Z) - DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。
ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。
標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-06-26T00:08:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。