論文の概要: NL2Contact: Natural Language Guided 3D Hand-Object Contact Modeling with Diffusion Model

• arxiv url: http://arxiv.org/abs/2407.12727v1
• Date: Wed, 17 Jul 2024 16:46:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 16:16:05.204615
• Title: NL2Contact: Natural Language Guided 3D Hand-Object Contact Modeling with Diffusion Model
• Title（参考訳）: NL2Contact:拡散モデルを用いた自然言語ガイド3Dハンドオブジェクト接触モデリング
• Authors: Zhongqun Zhang, Hengfei Wang, Ziwei Yu, Yihua Cheng, Angela Yao, Hyung Jin Chang,
• Abstract要約: NL2Contactは、段階拡散モデルを利用して制御可能な接触を生成するモデルである。 手と接触の言語記述を与えられたNL2Contactは、現実的で忠実な3Dハンドオブジェクト接触を生成する。 ポーズの最適化と新しい人間のグリップ生成のためのモデルの適用例を示す。
• 参考スコア（独自算出の注目度）: 45.00669505173757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling the physical contacts between the hand and object is standard for refining inaccurate hand poses and generating novel human grasp in 3D hand-object reconstruction. However, existing methods rely on geometric constraints that cannot be specified or controlled. This paper introduces a novel task of controllable 3D hand-object contact modeling with natural language descriptions. Challenges include i) the complexity of cross-modal modeling from language to contact, and ii) a lack of descriptive text for contact patterns. To address these issues, we propose NL2Contact, a model that generates controllable contacts by leveraging staged diffusion models. Given a language description of the hand and contact, NL2Contact generates realistic and faithful 3D hand-object contacts. To train the model, we build \textit{ContactDescribe}, the first dataset with hand-centered contact descriptions. It contains multi-level and diverse descriptions generated by large language models based on carefully designed prompts (e.g., grasp action, grasp type, contact location, free finger status). We show applications of our model to grasp pose optimization and novel human grasp generation, both based on a textual contact description.
• Abstract（参考訳）: 手と物体の物理的接触をモデル化することは、不正確な手ポーズを精製し、3次元手オブジェクト再構成において新しい人間の握力を生み出すのに標準である。 しかし、既存の手法は、指定や制御ができない幾何学的制約に依存している。 本稿では,自然言語記述を用いた3次元ハンドオブジェクト接触モデリングの新たな課題について紹介する。 課題には 一 言語から接触への相互モーダルモデリングの複雑さ及び 二 接触パターンに関する説明書の欠如 これらの問題に対処するために,段階的拡散モデルを利用して制御可能な接触を生成するモデルであるNL2Contactを提案する。 手と接触の言語記述を与えられたNL2Contactは、現実的で忠実な3Dハンドオブジェクト接触を生成する。 モデルをトレーニングするために、手中心のコンタクト記述を備えた最初のデータセットである \textit{ContactDescribe} を構築します。 これは、慎重に設計されたプロンプト(例えば、グリップアクション、グリップタイプ、接触位置、フリーフィンガーステータス)に基づいて、大規模言語モデルによって生成される多レベルで多様な記述を含んでいる。 本稿では,テキスト接触記述に基づくポーズ最適化と新規なヒューマングリップ生成のためのモデルの適用例を示す。

関連論文リスト

• Pose Priors from Language Models [74.61186408764559]
  本稿では,正確な物理的接触制約を強制するゼロショットポーズ最適化法を提案する。 本手法は,近接した人物の驚くほど説得力のあるポーズを再現する。 従来の手法とは異なり,本手法は自己接触と対人接触を解消するための統一的な枠組みを提供する。
  論文  参考訳（メタデータ） (2024-05-06T17:59:36Z)
• Text2HOI: Text-guided 3D Motion Generation for Hand-Object Interaction [8.253265795150401]
  本稿では,3Dにおける手-物間相互作用のシーケンスを生成するための最初のテキスト誘導作業について紹介する。 接触生成のために、VAEベースのネットワークはテキストとオブジェクトメッシュを入力として、手の表面とオブジェクトとの間の接触の確率を生成する。 運動生成のために、トランスフォーマーベースの拡散モデルは、この3Dコンタクトマップを、物理的に可塑性な手オブジェクトの動きを生成するための強力な先行手段として利用する。
  論文  参考訳（メタデータ） (2024-03-31T04:56:30Z)
• Contact-aware Human Motion Generation from Textual Descriptions [57.871692507044344]
  本稿では,テキストから3次元対話型人間の動作を生成する問題に対処する。 私たちは「Contact-Aware Texts」を表すRICH-CATという新しいデータセットを作成します。 そこで本研究では,テキストによる対話型人間の動作合成のためのCATMOという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-23T04:08:39Z)
• GraphDreamer: Compositional 3D Scene Synthesis from Scene Graphs [74.98581417902201]
  シーングラフから合成3Dシーンを生成するための新しいフレームワークを提案する。 シーングラフにおけるノード情報とエッジ情報を活用することにより,事前学習したテキスト・画像拡散モデルをよりよく活用する。 GraphDreamerの有効性を検証するために,定性的および定量的な実験を行った。
  論文  参考訳（メタデータ） (2023-11-30T18:59:58Z)
• ContactGen: Generative Contact Modeling for Grasp Generation [37.56729700157981]
  本稿では,手動物体間相互作用のためのオブジェクト中心の接触表現型コンタクトGenを提案する。 本研究では,ContactGen予測のための条件生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-05T17:59:45Z)
• DECO: Dense Estimation of 3D Human-Scene Contact In The Wild [54.44345845842109]
  SMPL体上の接触を推定するために、身体部分駆動とシーンコンテキスト駆動の両方の注意を用いた新しい3D接触検出器を訓練する。 すべてのベンチマークで既存のSOTAメソッドよりも大幅に優れています。 また、DECが自然画像における多様で挑戦的な現実世界の人間のインタラクションによく当てはまることを定性的に示す。
  論文  参考訳（メタデータ） (2023-09-26T21:21:07Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• ContactPose: A Dataset of Grasps with Object Contact and Hand Pose [27.24450178180785]
  本研究では、手ポーズ、オブジェクトポーズ、RGB-D画像と組み合わせた、手オブジェクト接触の最初のデータセットであるContactPoseを紹介する。 ContactPoseは25の家庭用物体の2306のユニークな把握能力を持ち、50人の被験者による2つの機能的意図と2.9 M RGB-Dの把握画像を持っている。
  論文  参考訳（メタデータ） (2020-07-19T01:01:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。