論文の概要: DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models

• arxiv url: http://arxiv.org/abs/2304.00916v2
• Date: Thu, 6 Apr 2023 16:04:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 10:35:28.622469
• Title: DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models
• Title（参考訳）: DreamAvatar: 拡散モデルによる3次元人体アバター生成
• Authors: Yukang Cao, Yan-Pei Cao, Kai Han, Ying Shan, Kwan-Yee K. Wong
• Abstract要約: 高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、大まかなポーズと形状のガイダンスを生成に役立てる。 我々は、より鮮明な形状とテクスチャでより鮮明な生成を可能にするために、通常の一貫性の正規化を利用する。
• 参考スコア（独自算出の注目度）: 32.14537209849246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present DreamAvatar, a text-and-shape guided framework for generating high-quality 3D human avatars with controllable poses. While encouraging results have been produced by recent methods on text-guided 3D common object generation, generating high-quality human avatars remains an open challenge due to the complexity of the human body's shape, pose, and appearance. We propose DreamAvatar to tackle this challenge, which utilizes a trainable NeRF for predicting density and color features for 3D points and a pre-trained text-to-image diffusion model for providing 2D self-supervision. Specifically, we leverage SMPL models to provide rough pose and shape guidance for the generation. We introduce a dual space design that comprises a canonical space and an observation space, which are related by a learnable deformation field through the NeRF, allowing for the transfer of well-optimized texture and geometry from the canonical space to the target posed avatar. Additionally, we exploit a normal-consistency regularization to allow for more vivid generation with detailed geometry and texture. Through extensive evaluations, we demonstrate that DreamAvatar significantly outperforms existing methods, establishing a new state-of-the-art for text-and-shape guided 3D human generation.
• Abstract（参考訳）: 筆者はdreamavatarという,高品質な3dアバターを制御可能なポーズで生成するためのテキスト・アンド・シェイプガイドフレームワークを提案する。 近年,テキストガイドによる3次元共通物体生成の手法が提案されているが,人体の形状・ポーズ・外観が複雑化しているため,高品質なアバターの生成が課題となっている。 この課題に対処するためにDreamAvatarを提案する。これは3Dポイントの密度と色の特徴を予測するためのトレーニング可能なNeRFと、2Dセルフスーパービジョンを提供するための事前訓練されたテキスト-画像拡散モデルである。 具体的には、SMPLモデルを利用して、生成のための粗いポーズと形状ガイダンスを提供する。 我々は、標準空間と観測空間からなる双対空間設計を導入する。これは、学習可能な変形場によってNeRFを介して関連付けられ、最適化されたテクスチャと幾何を標準空間から目標とするアバターへ転送することができる。 さらに,より詳細な形状とテクスチャを持ったより鮮明な生成を可能にするために,正規性正規化を利用する。 広範な評価を通じて,DreamAvatarは既存の手法を著しく上回り,テキスト・アンド・シェイプ3次元世代のための新しい最先端技術を確立した。

関連論文リスト

• A Survey on 3D Human Avatar Modeling -- From Reconstruction to Generation [20.32107267981782]
  多くの現実世界のアプリケーションの中核に位置する3Dヒューマンモデリングは、大きな注目を集めている。 本調査は,3次元アバターモデリングの新技術の概要を明らかにすることを目的としている。
  論文  参考訳（メタデータ） (2024-06-06T16:58:00Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
  AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。 我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。 本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-16T14:18:51Z)
• StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation [103.88928334431786]
  高品質な3Dアバターを製作するための新しい手法を提案する。 データ生成には事前学習した画像テキスト拡散モデルとGANベースの3次元生成ネットワークを用いて訓練を行う。 提案手法は、生産されたアバターの視覚的品質と多様性の観点から、現在の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-30T13:09:21Z)
• AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。 提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。 シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
  論文  参考訳（メタデータ） (2022-11-26T15:15:45Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。