論文の概要: PocoLoco: A Point Cloud Diffusion Model of Human Shape in Loose Clothing
- arxiv url: http://arxiv.org/abs/2411.04249v1
- Date: Wed, 06 Nov 2024 20:42:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-08 19:38:50.450903
- Title: PocoLoco: A Point Cloud Diffusion Model of Human Shape in Loose Clothing
- Title（参考訳）: PocoLoco: ルース衣服における人体形状の点雲拡散モデル
- Authors: Siddharth Seth, Rishabh Dabral, Diogo Luvizon, Marc Habermann, Ming-Hsuan Yang, Christian Theobalt, Adam Kortylewski,
- Abstract要約: PocoLocoは、ゆるい服を着た3D人間のための、テンプレートのない、ポイントベースの、ポーズ条件付き生成モデルである。
本研究では,アバター服の変形をデノナイズ拡散フレームワーク内の条件付き点雲生成タスクとして定式化する。
ゆるい服装でさまざまなポーズをとる2人の被験者のデータセットを、合計75K点の雲で公開する。
- 参考スコア（独自算出の注目度）: 97.83361232792214
- License:
- Abstract: Modeling a human avatar that can plausibly deform to articulations is an active area of research. We present PocoLoco -- the first template-free, point-based, pose-conditioned generative model for 3D humans in loose clothing. We motivate our work by noting that most methods require a parametric model of the human body to ground pose-dependent deformations. Consequently, they are restricted to modeling clothing that is topologically similar to the naked body and do not extend well to loose clothing. The few methods that attempt to model loose clothing typically require either canonicalization or a UV-parameterization and need to address the challenging problem of explicitly estimating correspondences for the deforming clothes. In this work, we formulate avatar clothing deformation as a conditional point-cloud generation task within the denoising diffusion framework. Crucially, our framework operates directly on unordered point clouds, eliminating the need for a parametric model or a clothing template. This also enables a variety of practical applications, such as point-cloud completion and pose-based editing -- important features for virtual human animation. As current datasets for human avatars in loose clothing are far too small for training diffusion models, we release a dataset of two subjects performing various poses in loose clothing with a total of 75K point clouds. By contributing towards tackling the challenging task of effectively modeling loose clothing and expanding the available data for training these models, we aim to set the stage for further innovation in digital humans. The source code is available at https://github.com/sidsunny/pocoloco .
- Abstract（参考訳）: 人間のアバターをモデル化し、関節に変形しうることは、研究の活発な領域である。
PocoLocoは、ゆるい服を着た3D人間のための、テンプレートなし、ポイントベース、ポーズ条件付き生成モデルである。
ほとんどの方法は、ポーズ依存の変形に対して人体のパラメトリックモデルを必要とすることに注意して、我々の研究を動機付けます。
そのため、裸体とトポロジカルに類似しており、ゆるい服にはあまり及ばない衣服のモデル化に制限される。
ゆるい服をモデル化しようとするいくつかの方法は典型化かUVパラメータ化を必要とし、変形する服の対応を明示的に推定する難しい問題に対処する必要がある。
本研究では,アバター服の変形をデノナイズ拡散フレームワーク内の条件付き点雲生成タスクとして定式化する。
重要なことは、我々のフレームワークは、パラメトリックモデルや衣料品テンプレートの必要性をなくし、秩序のない点群を直接運用する。
これにより、ポイントクラウド補完やポーズベースの編集 -- 仮想人間アニメーションの重要な機能 -- など、さまざまな実用的なアプリケーションが可能になる。
ゆるい服の人間のアバターの現在のデータセットは、拡散モデルの訓練には小さすぎるため、ゆらい服のさまざまなポーズを行う2人の被験者のデータセットを、合計75K点の雲でリリースする。
ゆるい衣服を効果的にモデリングし、これらのモデルをトレーニングするための利用可能なデータを拡張するという課題に取り組むことで、我々はデジタル人間におけるさらなるイノベーションのステージを構築することを目指している。
ソースコードはhttps://github.com/sidsunny/pocoloco.comで入手できる。
関連論文リスト
- CloSET: Modeling Clothed Humans on Continuous Surface with Explicit
Template Decomposition [36.39531876183322]
そこで我々は,明示的な衣服関連テンプレートを分解し,それらにポーズ依存のしわを加えることを提案する。
近年の最先端のポイントベース手法におけるシームアーティファクト問題に対処するために,体表面の点特徴を学習することを提案する。
我々のアプローチは、既存の2つのデータセットと、新しく導入されたデータセットで検証され、見当たらないポーズで服の変形結果が改善された。
論文 参考訳（メタデータ） (2023-04-06T15:50:05Z) - Neural Point-based Shape Modeling of Humans in Challenging Clothing [75.75870953766935]
SMPLのようなパラメトリックな3Dボディモデルは、最小限の衣服だけを表現し、衣服に拡張するのは難しい。
我々は、正準化を学習されたポーズ非依存の「粗い形状」に置き換える粗い段階で点ベースの手法を拡張する。
このアプローチは、身体に適合し、脱落する衣服に対してうまく機能する。
論文 参考訳（メタデータ） (2022-09-14T17:59:17Z) - The Power of Points for Modeling Humans in Clothing [60.00557674969284]
現在、アーティストはリアルな衣服で自然に動く3Dアバターを作る必要がある。
3次元表現は様々なトポロジを高分解能で捉えることができ、データから学習できることを示す。
我々は、異なる衣服の形状を表現するために、新しい局所的な衣服幾何学的特徴を持つニューラルネットワークを訓練する。
論文 参考訳（メタデータ） (2021-09-02T17:58:45Z) - Neural-GIF: Neural Generalized Implicit Functions for Animating People
in Clothing [49.32522765356914]
私たちは、身体のポーズの関数として、服装の人々をアニメーションすることを学びます。
我々は、学習された変形場を非剛性効果のモデルに適用した、空間のすべての点を標準空間にマッピングすることを学ぶ。
ニューラルGIFは生の3Dスキャンに基づいてトレーニングし、詳細な複雑な表面形状と変形を再構築することができる。
論文 参考訳（メタデータ） (2021-08-19T17:25:16Z) - SMPLicit: Topology-aware Generative Model for Clothed People [65.84665248796615]
SMPLicitは、身体のポーズ、形状、衣服の形状を共同で表現する新しい生成モデルである。
実験では,3dスキャンの装着や,服装者の画像の3d再構成にsmplicitが容易に利用できることを示す。
論文 参考訳（メタデータ） (2021-03-11T18:57:03Z) - Neural 3D Clothes Retargeting from a Single Image [91.5030622330039]
本稿では,1枚のRGB画像で人物にフィットする3次元衣料テンプレートモデルの潜在的なポーズと変形を生成する方法を提案する。
この問題は、地上の真実データを取得することは不可能である、すなわち、異なる3D衣料品テンプレートモデルを全く同じポーズで身に着けている人々の画像として、基本的には不適切である。
そこで本研究では,3次元変形の物理的妥当性を検証するための半教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-29T20:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。