論文の概要: MagicHOI: Leveraging 3D Priors for Accurate Hand-object Reconstruction from Short Monocular Video Clips
- arxiv url: http://arxiv.org/abs/2508.05506v1
- Date: Thu, 07 Aug 2025 15:37:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-08 18:59:39.932697
- Title: MagicHOI: Leveraging 3D Priors for Accurate Hand-object Reconstruction from Short Monocular Video Clips
- Title（参考訳）: MagicHOI:短いモノクロビデオクリップから手オブジェクトを正確に再現する3Dプリミティブ
- Authors: Shibo Wang, Haonan He, Maria Parelli, Christoph Gebhardt, Zicong Fan, Jie Song,
- Abstract要約: 本稿では,短い単分子インタラクションビデオから手と物体を再構成するMagicHOIを提案する。
我々は,MagicHOIが既存の手指再建法よりも大幅に優れていることを示す。
- 参考スコア（独自算出の注目度）: 10.583581000388305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most RGB-based hand-object reconstruction methods rely on object templates, while template-free methods typically assume full object visibility. This assumption often breaks in real-world settings, where fixed camera viewpoints and static grips leave parts of the object unobserved, resulting in implausible reconstructions. To overcome this, we present MagicHOI, a method for reconstructing hands and objects from short monocular interaction videos, even under limited viewpoint variation. Our key insight is that, despite the scarcity of paired 3D hand-object data, large-scale novel view synthesis diffusion models offer rich object supervision. This supervision serves as a prior to regularize unseen object regions during hand interactions. Leveraging this insight, we integrate a novel view synthesis model into our hand-object reconstruction framework. We further align hand to object by incorporating visible contact constraints. Our results demonstrate that MagicHOI significantly outperforms existing state-of-the-art hand-object reconstruction methods. We also show that novel view synthesis diffusion priors effectively regularize unseen object regions, enhancing 3D hand-object reconstruction.
- Abstract（参考訳）: ほとんどのRGBベースの手オブジェクト再構成手法はオブジェクトテンプレートに依存しているが、テンプレートなしの手法は一般的に完全なオブジェクトの可視性を前提としている。
この仮定は、固定されたカメラの視点と静的なグリップがオブジェクトの一部を観察できないままにし、不可解な再構築をもたらすような現実世界の設定でしばしば破られる。
これを解決するために,限定的な視点変化下であっても,短い単分子インタラクションビデオから手や物体を再構成するMagicHOIを提案する。
我々の重要な洞察は、ペア化された3次元オブジェクトデータの不足にもかかわらず、大規模で新規なビュー合成拡散モデルがリッチなオブジェクト管理を提供するということである。
この監視は、手動操作中に見えないオブジェクト領域を規則化するための先駆けとして機能する。
この知見を活用することで、新しいビュー合成モデルを手動オブジェクト再構築フレームワークに統合する。
我々は、目に見える接触制約を組み込むことで、オブジェクトに手を加える。
以上の結果から,MagicHOIは既存の手指再建法よりも大幅に優れていたことが示唆された。
また、新規なビュー合成拡散先行は、目に見えないオブジェクト領域を効果的に正規化し、3次元手オブジェクト再構成を向上することを示す。
関連論文リスト
- EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild [79.71523320368388]
本研究の目的は,手動物体のインタラクションを単一視点画像から再構築することである。
まず、手ポーズとオブジェクト形状を推定する新しいパイプラインを設計する。
最初の再構築では、事前に誘導された最適化方式を採用する。
論文 参考訳（メタデータ） (2024-11-21T16:33:35Z) - NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of
Hand-Object Interaction [19.957593804898064]
ビデオのスパース集合から手動物体間相互作用を再構成するための新しいフリーポイントレンダリングフレームワークであるニューラルコンタクトレーダランスフィールド(NCRF)を提案する。
私たちはこれらの重要なコンポーネントを共同で学び、視覚的および幾何学的制約で相互に助け合い、規則化します。
提案手法は、レンダリング品質とポーズ推定精度の両方の観点から、現在の最先端技術よりも優れています。
論文 参考訳（メタデータ） (2024-02-08T10:09:12Z) - HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and
Objects from Video [70.11702620562889]
HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。
我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。
本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
論文 参考訳（メタデータ） (2023-11-30T10:50:35Z) - MOHO: Learning Single-view Hand-held Object Reconstruction with
Multi-view Occlusion-Aware Supervision [75.38953287579616]
ハンドヘルドオブジェクト再構成のためのハンドオブジェクトビデオから,多視点オクルージョン対応監視を利用する新しいフレームワークを提案する。
このような設定において、手による排他と対象の自己排他という2つの主要な課題に対処する。
HO3D と DexYCB のデータセットを用いた実験では、2D のMOHO が 3D の教師付き手法に対して大きなマージンで優れた結果を得ることが示された。
論文 参考訳（メタデータ） (2023-10-18T03:57:06Z) - Reconstructing Hand-Held Objects from Monocular Video [95.06750686508315]
本稿では,モノクロ映像から手持ち物体を再構成する手法を提案する。
トレーニングされたネットワークによってオブジェクトの幾何学を直接予測する最近の多くの手法とは対照的に、提案手法ではオブジェクトに先行する学習を一切必要としない。
論文 参考訳（メタデータ） (2022-11-30T09:14:58Z) - What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。
通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
論文 参考訳（メタデータ） (2022-04-14T17:59:02Z) - Joint Hand-object 3D Reconstruction from a Single Image with
Cross-branch Feature Fusion [78.98074380040838]
特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。
入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。
提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
論文 参考訳（メタデータ） (2020-06-28T09:50:25Z) - Leveraging Photometric Consistency over Time for Sparsely Supervised
Hand-Object Reconstruction [118.21363599332493]
本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。
本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。
提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
論文 参考訳（メタデータ） (2020-04-28T12:03:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。