論文の概要: Chupa: Carving 3D Clothed Humans from Skinned Shape Priors using 2D Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2305.11870v3
• Date: Fri, 15 Sep 2023 12:23:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 18:14:24.754343
• Title: Chupa: Carving 3D Clothed Humans from Skinned Shape Priors using 2D Diffusion Probabilistic Models
• Title（参考訳）: Chupa: 2次元拡散確率モデルを用いた3Dクローンヒトの皮膚形状推定
• Authors: Byungjun Kim, Patrick Kwon, Kwangho Lee, Myunggi Lee, Sookwan Han, Daesik Kim, Hanbyul Joo
• Abstract要約: 拡散モデルを用いてリアルな人間のデジタルアバターを生成する3D生成パイプラインを提案する。 われわれの方法であるChupaは、知覚的品質とアイデンティティの多様性を向上したリアルな3D衣服を作成できる。
• 参考スコア（独自算出の注目度）: 9.479195068754507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a 3D generation pipeline that uses diffusion models to generate realistic human digital avatars. Due to the wide variety of human identities, poses, and stochastic details, the generation of 3D human meshes has been a challenging problem. To address this, we decompose the problem into 2D normal map generation and normal map-based 3D reconstruction. Specifically, we first simultaneously generate realistic normal maps for the front and backside of a clothed human, dubbed dual normal maps, using a pose-conditional diffusion model. For 3D reconstruction, we "carve" the prior SMPL-X mesh to a detailed 3D mesh according to the normal maps through mesh optimization. To further enhance the high-frequency details, we present a diffusion resampling scheme on both body and facial regions, thus encouraging the generation of realistic digital avatars. We also seamlessly incorporate a recent text-to-image diffusion model to support text-based human identity control. Our method, namely, Chupa, is capable of generating realistic 3D clothed humans with better perceptual quality and identity variety.
• Abstract（参考訳）: 拡散モデルを用いてリアルな人間のデジタルアバターを生成する3D生成パイプラインを提案する。 人間の身元、ポーズ、そして確率的詳細が多種多様であるため、3dのメッシュの生成は難しい問題となっている。 そこで本研究では,この問題を2次元正規地図生成と正規地図に基づく3次元再構成に分解する。 具体的には、まず、ポーズ条件拡散モデルを用いて、服を着た人間の正面と後方の現実的な正規写像を同時に生成する。 3D再構成では、従来のSMPL-Xメッシュをメッシュ最適化による通常のマップに従って詳細な3Dメッシュに“彫り込む”。 高周波の詳細をさらに高めるため,身体領域と顔面領域の拡散サンプリング方式を提案し,現実的なデジタルアバターの創出を奨励する。 また,最近のテキストから画像への拡散モデルをシームレスに組み込んで,テキストベースの個人識別制御をサポートする。 われわれの方法であるChupaは、知覚品質とアイデンティティの多様性を向上したリアルな3D衣服を作成できる。

関連論文リスト

• Human 3Diffusion: Realistic Avatar Creation via Explicit 3D Consistent Diffusion Models [29.73743772971411]
  人間の3次元拡散: 明示的な3次元連続拡散による現実的なアバター創造を提案する。 我々の重要な洞察は、2次元多視点拡散と3次元再構成モデルが相互に補完情報を提供するということである。 提案するフレームワークは,最先端の手法より優れ,単一のRGB画像から現実的なアバターを作成することができる。
  論文  参考訳（メタデータ） (2024-06-12T17:57:25Z)
• FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
  拡散型3次元顔アバター生成モデルFitDiffを提案する。 本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。 FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
  論文  参考訳（メタデータ） (2023-12-07T17:35:49Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion [66.26780039133122]
  本稿では,拡散モデルを用いて3次元デジタルアバターを自動的に生成する3次元生成モデルを提案する。 3Dのメモリと処理コストは、高品質なアバターに必要な豊富な細部を生産することを禁じられている。 私たちは、リアルな髪型とひげのような顔の毛を持つ非常に詳細なアバターを作ることができます。
  論文  参考訳（メタデータ） (2022-12-12T18:59:40Z)
• 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
  本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。 DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-02T17:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。