論文の概要: NCHO: Unsupervised Learning for Neural 3D Composition of Humans and Objects

• arxiv url: http://arxiv.org/abs/2305.14345v2
• Date: Mon, 29 May 2023 13:51:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 23:42:32.769151
• Title: NCHO: Unsupervised Learning for Neural 3D Composition of Humans and Objects
• Title（参考訳）: NCHO:人間と物体のニューラル3次元合成のための教師なし学習
• Authors: Taeksoo Kim, Shunsuke Saito, Hanbyul Joo
• Abstract要約: 実世界の3Dスキャンから人間と物体の合成生成モデルを学ぶための枠組みを提案する。 本手法では, 対象物を分解し, 自然に非教師的手法で生成的人間モデルに分解する。
• 参考スコア（独自算出の注目度）: 28.59349134574698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep generative models have been recently extended to synthesizing 3D digital humans. However, previous approaches treat clothed humans as a single chunk of geometry without considering the compositionality of clothing and accessories. As a result, individual items cannot be naturally composed into novel identities, leading to limited expressiveness and controllability of generative 3D avatars. While several methods attempt to address this by leveraging synthetic data, the interaction between humans and objects is not authentic due to the domain gap, and manual asset creation is difficult to scale for a wide variety of objects. In this work, we present a novel framework for learning a compositional generative model of humans and objects (backpacks, coats, scarves, and more) from real-world 3D scans. Our compositional model is interaction-aware, meaning the spatial relationship between humans and objects, and the mutual shape change by physical contact is fully incorporated. The key challenge is that, since humans and objects are in contact, their 3D scans are merged into a single piece. To decompose them without manual annotations, we propose to leverage two sets of 3D scans of a single person with and without objects. Our approach learns to decompose objects and naturally compose them back into a generative human model in an unsupervised manner. Despite our simple setup requiring only the capture of a single subject with objects, our experiments demonstrate the strong generalization of our model by enabling the natural composition of objects to diverse identities in various poses and the composition of multiple objects, which is unseen in training data. https://taeksuu.github.io/ncho/
• Abstract（参考訳）: 深層生成モデルは、最近3Dデジタル人間を合成するために拡張されている。 しかし、従来のアプローチでは衣服やアクセサリーの構成性を考慮せずに、衣料人間を単一の幾何学の塊として扱う。 その結果、個々のアイテムは自然に新しいアイデンティティに分解できず、生成する3Dアバターの表現性と制御性が制限される。 合成データを利用してこの問題に対処する手法もいくつかあるが、ドメインギャップのため、人間と物体の相互作用は本物ではなく、多種多様なオブジェクトに対して手動のアセット生成が困難である。 本稿では,現実世界の3dスキャンから人間と物体(バックパック,コート,スカーフなど)の合成生成モデルを学ぶための新しい枠組みを提案する。 我々の構成モデルは,人間と物体の空間的関係を意識した相互作用認識であり,物理的接触による相互形状変化は完全に組み込まれている。 鍵となる課題は、人間と物体が接触しているため、3Dスキャンは1つにまとめられることだ。 手動アノテーションなしでそれらを分解するために、オブジェクトの有無に関わらず、1人の3dスキャンの2セットを活用することを提案する。 私たちのアプローチは、オブジェクトを分解し、自然に生成的な人間モデルに教師なしの方法で戻すことを学びます。 実験では,対象対象を1つにまとめるだけでよいが,多様なポーズにおける対象の自然な構成と,トレーニングデータでは見当たらない複数の対象の合成を可能とし,モデルの強力な一般化を実証する。 https://taeksuu.github.io/ncho/

関連論文リスト

• Synthesizing Moving People with 3D Control [88.68284137105654]
  対象とする3次元運動系列の単一画像から人物をアニメーションする拡散モデルに基づくフレームワークを提案する。 まず,1つの画像が与えられた人の見えない部分を幻覚させる拡散モデルについて学習する。 第2に,3次元人間のポーズによって制御される拡散に基づくレンダリングパイプラインを開発する。
  論文  参考訳（メタデータ） (2024-01-19T18:59:11Z)
• Primitive-based 3D Human-Object Interaction Modelling and Programming [59.47308081630886]
  本研究では,人間と物体の両方を符号化する新しい3次元幾何学的原始言語を提案する。 プリミティブと画像を組み合わせた3D HAOIのベンチマークを構築した。 このプリミティブベースの3DHAOI表現は、3DHAOI研究の道を開くと信じている。
  論文  参考訳（メタデータ） (2023-12-17T13:16:49Z)
• CHORUS: Learning Canonicalized 3D Human-Object Spatial Relations from Unbounded Synthesized Images [10.4286198282079]
  本研究では,3次元における多種多様な物体間相互作用の空間的共通感覚を理解し,モデル化する手法を提案する。 我々は、人間が同じ種類の物体と対話するとき、異なる視点から撮影した複数の2D画像を示す。 実画像よりも画質が不完全であるにもかかわらず、合成画像は3次元的対象空間関係を学習するのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-08-23T17:59:11Z)
• Compositional 3D Human-Object Neural Animation [93.38239238988719]
  人間と物体の相互作用(HOI)は、人間中心の視覚生成、AR/VR、ロボット工学などの人間中心のシーン理解アプリケーションに不可欠である。 本稿では,HoIアニメーションにおけるこの課題について,作曲の観点から考察する。 我々は、暗黙のニューラル表現に基づいてHOIダイナミクスをモデル化し、レンダリングするために、ニューラル・ヒューマン・オブジェクトの変形を採用する。
  論文  参考訳（メタデータ） (2023-04-27T10:04:56Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• Reconstructing Action-Conditioned Human-Object Interactions Using Commonsense Knowledge Priors [42.17542596399014]
  本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。 提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。 本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
  論文  参考訳（メタデータ） (2022-09-06T13:32:55Z)
• BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
  マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。 このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
  論文  参考訳（メタデータ） (2022-04-14T13:21:19Z)
• CHORE: Contact, Human and Object REconstruction from a single RGB image [40.817960406002506]
  CHOREは、1枚のRGB画像から人間と物体を共同で再構築する方法である。 2つの符号のない距離場で暗黙的に表現された人間と物体の神経再構成を計算する。 提案手法で得られた共同再建がSOTAを著しく上回ることを示す実験を行った。
  論文  参考訳（メタデータ） (2022-04-05T18:38:06Z)
• SAGA: Stochastic Whole-Body Grasping with Contact [60.43627793243098]
  人間の握り合成には、AR/VR、ビデオゲーム、ロボット工学など多くの応用がある。 本研究の目的は,体全体をつかむ動作を合成することである。3次元物体が与えられたら,物体に接近してつかむような,多様で自然な人体の動きを生成することを目的としている。
  論文  参考訳（メタデータ） (2021-12-19T10:15:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。