論文の概要: PhotoHOI: Synthesizing 3D Hand-Object Interactions from a Single RGB Photograph

• arxiv url: http://arxiv.org/abs/2608.01905v2
• Date: Thu, 06 Aug 2026 13:24:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.721296
• Title: PhotoHOI: Synthesizing 3D Hand-Object Interactions from a Single RGB Photograph
• Title（参考訳）: 1枚のRGB写真から3Dハンドオブジェクトインタラクションを合成するPhotoHOI
• Abstract要約: 1枚のRGB写真とオープン語彙言語命令から3Dハンドオブジェクトインタラクションシーケンスを合成するPhotoHOI PhotoHOIはまず視覚言語モデルを使用して入力画像と命令を構造化されたタスク仕様に解析する。 そして、コンパクトなタスク関連3Dシーンを復元し、スムーズな衝突対応物体軌道を計画する。
• 参考スコア（独自算出の注目度）: 45.09993780203758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hand-object interaction (HOI) is a fundamental human behavior with broad applications in AR/VR, digital humans, and embodied interaction. Existing methods typically require predefined object geometry, object trajectories, or task-specific conditions, limiting their use with natural real-world inputs. To address this, we study a more practical problem of synthesizing 3D hand-object interaction sequences from a single RGB photograph and an open-vocabulary language instruction, and introduce PhotoHOI. PhotoHOI first uses a vision-language model to parse the input image and instruction into a structured task specification, including the interaction object, target region, and spatial relation. It then recovers a compact task-relevant 3D scene and plans a smooth collision-aware object trajectory based on the recovered object states, support relations, and surrounding scene geometry. To synthesize hand motion that generalizes to real-world photographs and unseen objects, it learns transferable task-conditioned contact and contact-conditioned grasp priors from large-scale affordance and HOI data. The grasp is further refined in a learned latent space, constraining the optimization to a plausible hand-pose manifold. Experiments on GRAB and H2O demonstrate improved contact quality and reduced penetration over representative baselines. Results on real-world photographs further demonstrate higher task success and scene consistency, together with generalization to unseen objects and open-vocabulary instructions.
• Abstract（参考訳）: ハンドオブジェクトインタラクション(英: Hand-object Interaction, HOI)は、AR/VR、デジタルヒューマン、エンボディインタラクションに広く応用された基本的な人間の行動である。 既存の方法は、通常、事前に定義されたオブジェクトの幾何学、オブジェクトの軌跡、またはタスク固有の条件を必要とし、それらの使用を自然な現実世界の入力で制限する。 そこで本研究では,1枚のRGB写真とオープン語彙言語命令から3Dハンドオブジェクトインタラクションシーケンスを合成するより実践的な問題について検討し,PhotoHOIを紹介する。 PhotoHOIはまず視覚言語モデルを用いて、入力画像と命令を対話オブジェクト、ターゲット領域、空間関係を含む構造化されたタスク仕様に解析する。 その後、コンパクトなタスク関連3Dシーンを復元し、回収されたオブジェクト状態、サポート関係、周囲のシーン形状に基づいて、スムーズな衝突対応オブジェクト軌道を計画する。 実世界の写真や見えない物体に一般化する手の動きを合成するために、大規模な空き時間とHOIデータから、伝達可能なタスク条件付き接触と接触条件付き把握先行を学習する。 グリップは学習された潜在空間でさらに洗練され、最適化は可算手置多様体に制限される。 GRABとH2Oの実験では、接触品質が向上し、代表ベースラインへの侵入が減少した。 実世界の写真では、タスクの成功とシーンの一貫性がさらに向上し、未確認のオブジェクトへの一般化やオープン語彙の指示が一般化された。

関連論文リスト

• GIRAF: Towards Generalizable Human Interactions with Articulated Objects [50.52795413484619]
  そこで本論文では,テキスト条件付き拡散モデルについて述べる。 提案手法は、現在最先端の手法を超越して、未確認のオブジェクト構成に強い一般化を示した。
  論文  参考訳（メタデータ） (2026-07-08T19:30:44Z)
• Generalized Hand-Object Pose Estimation with Occlusion Awareness [87.10073091219066]
  1枚のRGB画像から一般的な3次元手動ポーズ推定は、物体の外観や相互作用パターンに大きな変化があるため、依然として困難である。 我々は,オクルージョン認識を用いた汎用的手動ポーズ推定フレームワークであるGenHOIを提案する。
  論文  参考訳（メタデータ） (2026-03-19T15:19:23Z)
• InteractAnything: Zero-shot Human Object Interaction Synthesis via LLM Feedback and Object Affordance Parsing [36.29681929804816]
  特定のデータセットをトレーニングすることなく,新たなゼロショット3DHOI生成フレームワークを提案する。 トレーニング済みの2次元画像拡散モデルを用いて、見えない物体を解析し、接触点を抽出する。 次に、細粒度、精密、そして自然な相互作用を生成するための詳細な最適化を導入し、3Dオブジェクトと関連する身体部分との間の現実的な3D接触を強制する。
  論文  参考訳（メタデータ） (2025-05-30T07:53:55Z)
• SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
  手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。 SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。 SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-28T20:53:20Z)
• HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video [70.11702620562889]
  HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。 我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。 本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-30T10:50:35Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• Reconstructing Action-Conditioned Human-Object Interactions Using Commonsense Knowledge Priors [42.17542596399014]
  本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。 提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。 本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
  論文  参考訳（メタデータ） (2022-09-06T13:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。