論文の概要: InteractAnything: Zero-shot Human Object Interaction Synthesis via LLM Feedback and Object Affordance Parsing

• arxiv url: http://arxiv.org/abs/2505.24315v1
• Date: Fri, 30 May 2025 07:53:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.838825
• Title: InteractAnything: Zero-shot Human Object Interaction Synthesis via LLM Feedback and Object Affordance Parsing
• Title（参考訳）: InteractAnything: LLMフィードバックによるゼロショットヒューマンオブジェクトインタラクション合成とオブジェクト指向解析
• Authors: Jinlu Zhang, Yixin Chen, Zan Wang, Jie Yang, Yizhou Wang, Siyuan Huang,
• Abstract要約: 特定のデータセットをトレーニングすることなく,新たなゼロショット3DHOI生成フレームワークを提案する。 トレーニング済みの2次元画像拡散モデルを用いて、見えない物体を解析し、接触点を抽出する。 次に、細粒度、精密、そして自然な相互作用を生成するための詳細な最適化を導入し、3Dオブジェクトと関連する身体部分との間の現実的な3D接触を強制する。
• 参考スコア（独自算出の注目度）: 36.29681929804816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in 3D human-aware generation have made significant progress. However, existing methods still struggle with generating novel Human Object Interaction (HOI) from text, particularly for open-set objects. We identify three main challenges of this task: precise human-object relation reasoning, affordance parsing for any object, and detailed human interaction pose synthesis aligning description and object geometry. In this work, we propose a novel zero-shot 3D HOI generation framework without training on specific datasets, leveraging the knowledge from large-scale pre-trained models. Specifically, the human-object relations are inferred from large language models (LLMs) to initialize object properties and guide the optimization process. Then we utilize a pre-trained 2D image diffusion model to parse unseen objects and extract contact points, avoiding the limitations imposed by existing 3D asset knowledge. The initial human pose is generated by sampling multiple hypotheses through multi-view SDS based on the input text and object geometry. Finally, we introduce a detailed optimization to generate fine-grained, precise, and natural interaction, enforcing realistic 3D contact between the 3D object and the involved body parts, including hands in grasping. This is achieved by distilling human-level feedback from LLMs to capture detailed human-object relations from the text instruction. Extensive experiments validate the effectiveness of our approach compared to prior works, particularly in terms of the fine-grained nature of interactions and the ability to handle open-set 3D objects.
• Abstract（参考訳）: 近年の3Dヒューマン・アウェア・ジェネレーションの進歩は大きな進歩を遂げている。 しかし、既存の手法はテキストから新しいヒューマンオブジェクトインタラクション(HOI)を生成することに依然として苦労している。 本課題の主な課題は, 正確な人間-対象関係推論, 任意の対象に対する可視性解析, 詳細な人間間相互作用は, 記述とオブジェクト形状の整合性を示す。 本研究では,大規模な事前学習モデルの知識を活用するため,特定のデータセットを学習することなく,ゼロショット3次元HOI生成フレームワークを提案する。 具体的には、オブジェクトのプロパティを初期化し、最適化プロセスを導くために、大きな言語モデル(LLM)から人間とオブジェクトの関係を推定する。 そして,事前学習した2次元画像拡散モデルを用いて,未知の物体を解析し,接触点を抽出し,既存の3次元資産知識の制約を回避する。 最初の人間のポーズは、入力テキストとオブジェクト形状に基づいて、多視点SDSを通して複数の仮説をサンプリングすることによって生成される。 最後に,3次元物体と握手を含む身体部位とのリアルな3D接触を強制する,きめ細かな,精密で,自然なインタラクションを生成するための詳細な最適化を提案する。 これは、LLMからの人間レベルのフィードバックを蒸留して、テキスト命令から詳細な人間オブジェクトの関係を捉えることで達成される。 広範にわたる実験により,従来の手法と比較して,特に相互作用のきめ細かい性質とオープンセット3Dオブジェクトの処理能力の観点から,アプローチの有効性が検証された。

関連論文リスト

• SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
  手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。 SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。 SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-28T20:53:20Z)
• Zero-Shot Human-Object Interaction Synthesis with Multimodal Priors [31.277540988829976]
  本稿では,現在限定されている3次元HOIデータセットのエンドツーエンドトレーニングに頼ることなく,新しいゼロショットHOI合成フレームワークを提案する。 我々は、事前訓練された人間のポーズ推定モデルを用いて、人間のポーズを抽出し、一般化可能なカテゴリレベルの6-DoF推定手法を導入し、2次元HOI画像からオブジェクトポーズを求める。
  論文  参考訳（メタデータ） (2025-03-25T23:55:47Z)
• Beyond the Contact: Discovering Comprehensive Affordance for 3D Objects from Pre-trained 2D Diffusion Models [8.933560282929726]
  我々はComprehensive Affordance(ComA)という新しい余裕表現を導入する。 3Dオブジェクトメッシュが与えられたとき、ComAは相互作用する人間のメッシュにおける相対配向と頂点の近接の分布をモデル化する。 ComAは、連絡先ベースの価格のモデリングにおいて、人間のアノテーションに依存している競争相手よりも優れていることを実証する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:59Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• Reconstructing Action-Conditioned Human-Object Interactions Using Commonsense Knowledge Priors [42.17542596399014]
  本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。 提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。 本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
  論文  参考訳（メタデータ） (2022-09-06T13:32:55Z)
• CHORE: Contact, Human and Object REconstruction from a single RGB image [40.817960406002506]
  CHOREは、1枚のRGB画像から人間と物体を共同で再構築する方法である。 2つの符号のない距離場で暗黙的に表現された人間と物体の神経再構成を計算する。 提案手法で得られた共同再建がSOTAを著しく上回ることを示す実験を行った。
  論文  参考訳（メタデータ） (2022-04-05T18:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。