論文の概要: GraspDiffusion: Synthesizing Realistic Whole-body Hand-Object Interaction

• arxiv url: http://arxiv.org/abs/2410.13911v1
• Date: Thu, 17 Oct 2024 01:45:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:25:24.121012
• Title: GraspDiffusion: Synthesizing Realistic Whole-body Hand-Object Interaction
• Title（参考訳）: GraspDiffusion: 現実的な全体ハンドオブジェクトインタラクションを合成する
• Authors: Patrick Kwon, Hanbyul Joo,
• Abstract要約: 最近の生成モデルは高品質な画像を合成できるが、しばしば手を使って物体と相互作用する人間の生成に失敗する。 本稿では,人間と物体の相互作用の現実的なシーンを生成する新しい生成法であるGraspDiffusionを提案する。
• 参考スコア（独自算出の注目度）: 9.564223516111275
• License:
• Abstract: Recent generative models can synthesize high-quality images but often fail to generate humans interacting with objects using their hands. This arises mostly from the model's misunderstanding of such interactions, and the hardships of synthesizing intricate regions of the body. In this paper, we propose GraspDiffusion, a novel generative method that creates realistic scenes of human-object interaction. Given a 3D object mesh, GraspDiffusion first constructs life-like whole-body poses with control over the object's location relative to the human body. This is achieved by separately leveraging the generative priors for 3D body and hand poses, optimizing them into a joint grasping pose. The resulting pose guides the image synthesis to correctly reflect the intended interaction, allowing the creation of realistic and diverse human-object interaction scenes. We demonstrate that GraspDiffusion can successfully tackle the relatively uninvestigated problem of generating full-bodied human-object interactions while outperforming previous methods. Code and models will be available at https://webtoon.github.io/GraspDiffusion
• Abstract（参考訳）: 最近の生成モデルは高品質な画像を合成できるが、しばしば手を使って物体と相互作用する人間の生成に失敗する。 これは主にモデルがそのような相互作用を誤解していることと、身体の複雑な領域を合成する難しさから生じる。 本稿では,人間と物体の相互作用の現実的なシーンを生成する新しい生成法であるGraspDiffusionを提案する。 3Dオブジェクトメッシュが与えられたとき、GraspDiffusionはまず、人体に対する物体の位置を制御して、生命のような全身のポーズを構築する。 これは、生成前の3次元体と手ポーズを別々に活用し、それらを関節握りポーズに最適化することで達成される。 結果として得られるポーズは、意図された相互作用を正しく反映するように画像合成を誘導し、現実的で多様な人間とオブジェクトの相互作用シーンを創出する。 我々は,GraspDiffusionが従来の手法より優れている一方で,人間と物体の相互作用を完全生成する比較的実証されていない問題にうまく対処できることを実証した。 コードとモデルはhttps://webtoon.github.io/GraspDiffusionで利用可能になる

関連論文リスト

• G-HOP: Generative Hand-Object Prior for Interaction Reconstruction and Grasp Synthesis [57.07638884476174]
  G-HOPは手-対象相互作用の前駆体である。 人手は骨格距離場を介して表現し、物体の符号付き距離場と整合した表現を得る。 この手動物体は、対話クリップからの再構成や人間のつかみ合成など、他の作業を容易にするための汎用的なガイダンスとして機能することを示す。
  論文  参考訳（メタデータ） (2024-04-18T17:59:28Z)
• Synthesizing Moving People with 3D Control [88.68284137105654]
  対象とする3次元運動系列の単一画像から人物をアニメーションする拡散モデルに基づくフレームワークを提案する。 まず,1つの画像が与えられた人の見えない部分を幻覚させる拡散モデルについて学習する。 第2に,3次元人間のポーズによって制御される拡散に基づくレンダリングパイプラインを開発する。
  論文  参考訳（メタデータ） (2024-01-19T18:59:11Z)
• Affordance Diffusion: Synthesizing Hand-Object Interactions [81.98499943996394]
  対象物のRGB画像が与えられた場合、我々はそれと相互作用する人間の手の可視像を幻覚することを目的としている。 そこで本研究では,触覚に依存しない手オブジェクトのインタラクションレイアウトをサンプリングするLayoutNetと,物体をつかむ手のイメージを合成するContentNetの2段階生成手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T17:59:10Z)
• IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object Interactions [69.95820880360345]
  そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。 本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。 その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T23:59:24Z)
• Generating Holistic 3D Human Motion from Speech [97.11392166257791]
  同期音声を用いた3次元全体体メッシュの高品質データセットを構築した。 次に,顔,体,手が別々にモデル化される新しい音声合成フレームワークを定義する。
  論文  参考訳（メタデータ） (2022-12-08T17:25:19Z)
• SAGA: Stochastic Whole-Body Grasping with Contact [60.43627793243098]
  人間の握り合成には、AR/VR、ビデオゲーム、ロボット工学など多くの応用がある。 本研究の目的は,体全体をつかむ動作を合成することである。3次元物体が与えられたら,物体に接近してつかむような,多様で自然な人体の動きを生成することを目的としている。
  論文  参考訳（メタデータ） (2021-12-19T10:15:30Z)
• Grasping Field: Learning Implicit Representations for Human Grasps [16.841780141055505]
  本稿では,深層ニューラルネットワークと統合し易い人間の把握モデリングのための表現表現を提案する。 この3Dから2DマッピングをGrasping Fieldと呼び、ディープニューラルネットワークでパラメータ化し、データから学習します。 我々の生成モデルは、3Dオブジェクトポイント・クラウドにのみ適用され、高品質な人間のグリップを合成することができる。
  論文  参考訳（メタデータ） (2020-08-10T23:08:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。