論文の概要: Aligning Foundation Model Priors and Diffusion-Based Hand Interactions for Occlusion-Resistant Two-Hand Reconstruction

• arxiv url: http://arxiv.org/abs/2503.17788v1
• Date: Sat, 22 Mar 2025 14:42:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:38:48.613096
• Title: Aligning Foundation Model Priors and Diffusion-Based Hand Interactions for Occlusion-Resistant Two-Hand Reconstruction
• Title（参考訳）: 咬合抵抗性2手再建のための基礎モデルの優先順位と拡散に基づく手操作
• Authors: Gaoge Han, Yongkang Cheng, Zhe Chen, Shaoli Huang, Tongliang Liu,
• Abstract要約: 単眼画像からの両手再建は、複雑でダイナミックな手の位置や閉塞が原因で、永続的な課題に直面している。 既存のアプローチはそのようなアライメントの問題に悩まされ、しばしば不整合と侵入の成果物をもたらす。 本研究では,基礎モデルに基づく2次元先行モデルと拡散に基づく相互作用改善を組み込むことにより,手振りとインタラクションを正確に整合させる新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 50.952228546326516
• License:
• Abstract: Two-hand reconstruction from monocular images faces persistent challenges due to complex and dynamic hand postures and occlusions, causing significant difficulty in achieving plausible interaction alignment. Existing approaches struggle with such alignment issues, often resulting in misalignment and penetration artifacts. To tackle this, we propose a novel framework that attempts to precisely align hand poses and interactions by synergistically integrating foundation model-driven 2D priors with diffusion-based interaction refinement for occlusion-resistant two-hand reconstruction. First, we introduce a Fusion Alignment Encoder that learns to align fused multimodal priors keypoints, segmentation maps, and depth cues from foundation models during training. This provides robust structured guidance, further enabling efficient inference without foundation models at test time while maintaining high reconstruction accuracy. Second, we employ a two-hand diffusion model explicitly trained to transform interpenetrated poses into plausible, non-penetrated interactions, leveraging gradient-guided denoising to correct artifacts and ensure realistic spatial relations. Extensive evaluations demonstrate that our method achieves state-of-the-art performance on InterHand2.6M, FreiHAND, and HIC datasets, significantly advancing occlusion handling and interaction robustness.
• Abstract（参考訳）: 単眼画像からの両手再建は、複雑でダイナミックな手の位置や閉塞が原因で、持続的な課題に直面し、妥当な相互作用のアライメントを達成するのにかなりの困難が生じる。 既存のアプローチはそのようなアライメントの問題に悩まされ、しばしば不整合と侵入の成果物をもたらす。 そこで本研究では, 基礎モデル駆動型2Dプリエントと拡散型相互作用改善とを相乗的に統合することにより, ハンドポーズとインタラクションを正確に整合させようとする新しいフレームワークを提案する。 まず,フュージョンアライメント・エンコーダを導入し,融合したマルチモーダル先行キーポイント,セグメンテーションマップ,深度キューをトレーニング中に基礎モデルから整列させる。 これにより、堅牢な構造化ガイダンスが提供され、さらに、高い再構成精度を維持しながら、試験時に基礎モデルなしで効率的な推論が可能になる。 第2に,相互接続されたポーズをプラスティックで非接続なインタラクションに変換するために,手動拡散モデルを明示的に訓練し,勾配誘導型デノナイジングを利用してアーチファクトを修正し,現実的な空間的関係を確保する。 広範に評価した結果,InterHand2.6M, FreiHAND, HICデータセット上での最先端性能が得られた。

関連論文リスト

• Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation [52.36691633451968]
  ViTaM-Dは動的手動物体相互作用再構成のための視覚触覚フレームワークである。 DF-Fieldは分散力認識型接触表現モデルである。 剛性および変形性のある物体再構成におけるViTaM-Dの優れた性能について検討した。
  論文  参考訳（メタデータ） (2024-11-14T16:29:45Z)
• ManiDext: Hand-Object Manipulation Synthesis via Continuous Correspondence Embeddings and Residual-Guided Diffusion [36.9457697304841]
  ManiDextは、手操作やポーズを把握するための階層的な拡散ベースの統合フレームワークである。 私たちの重要な洞察は、相互作用中の物体と手との接触関係を正確にモデル化することが重要であるということです。 本フレームワークは,まず,物体表面への接触マップと対応埋め込みを生成する。 これらの微粒な対応に基づき,拡散過程に反復的精錬プロセスを統合する新しいアプローチを導入する。
  論文  参考訳（メタデータ） (2024-09-14T04:28:44Z)
• InterHandGen: Two-Hand Interaction Generation via Cascaded Reverse Diffusion [53.90516061351706]
  両手インタラクションに先立って生成を学習する新しいフレームワークであるInterHandGenを提案する。 サンプリングにアンチペネティフィケーションと合成フリーガイダンスを組み合わせることで、プラウシブルな生成を可能にする。 本手法は, 妥当性と多様性の観点から, ベースライン生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-03-26T06:35:55Z)
• 3D Hand Reconstruction via Aggregating Intra and Inter Graphs Guided by Prior Knowledge for Hand-Object Interaction Scenario [8.364378460776832]
  モデルベースおよびモデルフリーアプローチの利点を生かした3次元ハンドリコンストラクションネットワークを提案する。 まず,2次元関節から直接のMANOポーズパラメータ回帰モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-04T05:11:26Z)
• D-SCo: Dual-Stream Conditional Diffusion for Monocular Hand-Held Object Reconstruction [74.49121940466675]
  モノクローナルハンドヘルドオブジェクト再構成のためのCentroid-fixed dual-stream conditionalfusionを導入する。 まず、対象のセントロイドがずれることを避けるために、手動制約付きセントロイド固定パラダイムを用いる。 第2に、意味的および幾何学的に手動物体の相互作用をモデル化するための二重ストリームデノイザを導入する。
  論文  参考訳（メタデータ） (2023-11-23T20:14:50Z)
• Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera [79.41374930171469]
  本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。 われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。 過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
  論文  参考訳（メタデータ） (2021-06-15T11:39:49Z)
• Adversarial Motion Modelling helps Semi-supervised Hand Pose Estimation [116.07661813869196]
  そこで本稿では,非ラベルビデオに対人トレーニングとモーションモデリングのアイデアを組み合わせることを提案する。 本研究は,非ラベル映像系列の半教師あり学習により,逆方向が手ポーズ推定器の特性の向上につながることを示す。 このアプローチの主な利点は、ペアのトレーニングデータよりもはるかに容易に、未ペアのビデオとジョイントシーケンスデータを利用することができることです。
  論文  参考訳（メタデータ） (2021-06-10T17:50:19Z)
• RobustFusion: Robust Volumetric Performance Reconstruction under Human-object Interactions from Monocular RGBD Stream [27.600873320989276]
  現実のシナリオでは、さまざまなオブジェクトと複雑な相互作用を持つ人間のパフォーマンスの高品質の4D再構築が不可欠です。 近年の進歩は、信頼性の高い性能回復には至っていない。 人間と物体のインタラクションシナリオのための堅牢なボリュームパフォーマンス再構築システムであるRobustFusionを提案する。
  論文  参考訳（メタデータ） (2021-04-30T08:41:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。