論文の概要: ArtHOI: Taming Foundation Models for Monocular 4D Reconstruction of Hand-Articulated-Object Interactions

• arxiv url: http://arxiv.org/abs/2603.25791v1
• Date: Thu, 26 Mar 2026 18:00:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.219836
• Title: ArtHOI: Taming Foundation Models for Monocular 4D Reconstruction of Hand-Articulated-Object Interactions
• Title（参考訳）: ArtHOI:手動物体相互作用の単眼的4次元再構成のためのモデリング基礎モデル
• Abstract要約: ArtHOIは最適化ベースのフレームワークで、複数の基礎モデルから事前を統合および洗練する。 特に、オブジェクトのメートル法スケールを最適化するために、適応サンプリング精細法(ASR)を導入する。 また,Multimodal Large Language Model (MLLM) を用いた手オブジェクトアライメント手法を提案する。
• 参考スコア（独自算出の注目度）: 48.84720445548848
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing hand-object interactions (HOI) methods are largely limited to rigid objects, while 4D reconstruction methods of articulated objects generally require pre-scanning the object or even multi-view videos. It remains an unexplored but significant challenge to reconstruct 4D human-articulated-object interactions from a single monocular RGB video. Fortunately, recent advancements in foundation models present a new opportunity to address this highly ill-posed problem. To this end, we introduce ArtHOI, an optimization-based framework that integrates and refines priors from multiple foundation models. Our key contribution is a suite of novel methodologies designed to resolve the inherent inaccuracies and physical unreality of these priors. In particular, we introduce an Adaptive Sampling Refinement (ASR) method to optimize object's metric scale and pose for grounding its normalized mesh in world space. Furthermore, we propose a Multimodal Large Language Model (MLLM) guided hand-object alignment method, utilizing contact reasoning information as constraints of hand-object mesh composition optimization. To facilitate a comprehensive evaluation, we also contribute two new datasets, ArtHOI-RGBD and ArtHOI-Wild. Extensive experiments validate the robustness and effectiveness of our ArtHOI across diverse objects and interactions. Project: https://arthoi-reconstruction.github.io.
• Abstract（参考訳）: 既存の手動物体相互作用法(HOI)は、主に剛体物体に限られるが、明瞭な物体の4D再構成法は、通常、対象物や多視点ビデオの事前スキャンを必要とする。 単一の単眼のRGBビデオから4Dの人間と物体の相互作用を再構築することは、まだ解明されていないが重要な課題である。 幸いなことに、最近のファンデーションモデルの進歩は、この非常に不適切な問題に対処する新たな機会を提供する。 この目的のために、最適化ベースのフレームワークであるArtHOIを紹介した。 我々の重要な貢献は、これらの先行の固有の不正確さと物理的不道徳を解決するために設計された、新しい方法論の集合である。 特に、オブジェクトのメートル法スケールを最適化し、その正規化メッシュを世界空間でグラウンド化するためのアダプティブサンプリング精細法(ASR)を導入する。 さらに,マルチモーダル大規模言語モデル (MLLM) を用いた接触推論情報を手動物体メッシュ合成最適化の制約として利用した手動物体アライメント手法を提案する。 包括的評価を容易にするため,ArtHOI-RGBDとArtHOI-Wildという2つの新しいデータセットをコントリビュートする。 広範囲にわたる実験は、さまざまな物体や相互作用におけるArtHOIの堅牢性と有効性を検証する。 プロジェクト: https://arthoi-reconstruction.github.io

関連論文リスト

• High-Fidelity 4D Hand-Object Capture via Multi-View Spatiotemporal Tracking and Physics-Aware Gaussians [38.0162622592412]
  同期・校正されたマルチビュービデオから手や物体を頑健かつ正確に再構成するための新しいシステムを提案する。 我々のパイプラインは、高度に堅牢でアーティファクトのない再構築を実現し、自動化された4Dアセット生成のための効率的な基盤を提供する。
  論文  参考訳（メタデータ） (2026-06-14T16:36:49Z)
• MOSIV: Multi-Object System Identification from Videos [54.53609234233857]
  本稿では,映像から導出される幾何学的目的によって導かれる微分可能シミュレータを用いて,連続的かつ対象ごとの材料パラメータを直接最適化するフレームワークを提案する。 また,接触に富んだ多目的インタラクションを用いた新しい総合的ベンチマークを提案し,評価を容易にする。
  論文  参考訳（メタデータ） (2026-03-06T08:16:16Z)
• ArtLLM: Generating Articulated Assets via 3D LLM [19.814132638278547]
  ArtLLMは、完全な3Dメッシュから直接高品質な調音資産を生成するための新しいフレームワークである。 コアとなるのは,大規模な調音データセットに基づいてトレーニングされた,3Dマルチモーダルな大規模言語モデルだ。 実験の結果,ArtLLMは部品配置精度と接合予測の両方で最先端の手法を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2026-03-01T15:07:46Z)
• ByteLoom: Weaving Geometry-Consistent Human-Object Interactions through Progressive Curriculum Learning [19.292101162897975]
  本稿では,幾何的に一貫したオブジェクト図面を持つ実写HOIビデオを生成するByteLoomを紹介する。 まず、相対座標マップ(RCM)をオブジェクトの幾何整合性を維持する普遍表現として活用するRCM-cache機構を提案する。 次に、モデル能力を進歩的なスタイルで向上し、ハンドメッシュの需要を緩和するトレーニングカリキュラムを設計する。
  論文  参考訳（メタデータ） (2025-12-28T09:38:36Z)
• Re-HOLD: Video Hand Object Interaction Reenactment via adaptive Layout-instructed Diffusion Model [72.90370736032115]
  本稿では,適応的レイアウト指示拡散モデル(Re-HOLD)によるヒューマンオブジェクトインタラクション(HOI)に着目した新しいビデオ再現フレームワークを提案する。 私たちのキーとなる洞察は、それぞれ手とオブジェクトに特別なレイアウト表現を採用することです。 HOIの生成品質をさらに向上するため,手と物体の対話型音質向上モジュールを設計した。
  論文  参考訳（メタデータ） (2025-03-21T08:40:35Z)
• ArtGS: Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting [66.29782808719301]
  コンピュータビジョンにおいて、音声で表現されたオブジェクトを構築することが重要な課題である。 既存のメソッドは、しばしば異なるオブジェクト状態間で効果的に情報を統合できない。 3次元ガウスを柔軟かつ効率的な表現として活用する新しいアプローチであるArtGSを紹介する。
  論文  参考訳（メタデータ） (2025-02-26T10:25:32Z)
• EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild [79.71523320368388]
  本研究の目的は,手動物体のインタラクションを単一視点画像から再構築することである。 まず、手ポーズとオブジェクト形状を推定する新しいパイプラインを設計する。 最初の再構築では、事前に誘導された最適化方式を採用する。
  論文  参考訳（メタデータ） (2024-11-21T16:33:35Z)
• HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video [70.11702620562889]
  HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。 我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。 本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-30T10:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。