論文の概要: DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models

• arxiv url: http://arxiv.org/abs/2304.00916v3
• Date: Thu, 30 Nov 2023 17:40:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 20:45:11.450165
• Title: DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models
• Title（参考訳）: DreamAvatar: 拡散モデルによる3次元人体アバター生成
• Authors: Yukang Cao, Yan-Pei Cao, Kai Han, Ying Shan, Kwan-Yee K. Wong
• Abstract要約: 高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
• 参考スコア（独自算出の注目度）: 55.71306021041785
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We present DreamAvatar, a text-and-shape guided framework for generating high-quality 3D human avatars with controllable poses. While encouraging results have been reported by recent methods on text-guided 3D common object generation, generating high-quality human avatars remains an open challenge due to the complexity of the human body's shape, pose, and appearance. We propose DreamAvatar to tackle this challenge, which utilizes a trainable NeRF for predicting density and color for 3D points and pretrained text-to-image diffusion models for providing 2D self-supervision. Specifically, we leverage the SMPL model to provide shape and pose guidance for the generation. We introduce a dual-observation-space design that involves the joint optimization of a canonical space and a posed space that are related by a learnable deformation field. This facilitates the generation of more complete textures and geometry faithful to the target pose. We also jointly optimize the losses computed from the full body and from the zoomed-in 3D head to alleviate the common multi-face ''Janus'' problem and improve facial details in the generated avatars. Extensive evaluations demonstrate that DreamAvatar significantly outperforms existing methods, establishing a new state-of-the-art for text-and-shape guided 3D human avatar generation.
• Abstract（参考訳）: 筆者はdreamavatarという,高品質な3dアバターを制御可能なポーズで生成するためのテキスト・アンド・シェイプガイドフレームワークを提案する。 近年,テキストガイドによる3次元共通物体生成の方法が注目されているが,人体の形状,ポーズ,外観が複雑であるため,高品質なアバターの生成が課題となっている。 この課題に対処するためにDreamAvatarを提案する。これは3次元点の密度と色を予測するためのトレーニング可能なNeRFと2次元自己スーパービジョンを提供するための事前訓練されたテキスト-画像拡散モデルを利用する。 具体的には、SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 本稿では, 学習可能な変形場に関連付けられた正準空間とポーズ空間の合同最適化を含む双対観測空間設計を提案する。 これにより、ターゲットのポーズに忠実な、より完全なテクスチャと幾何学の生成が容易になる。 また、全身およびズームイン3dヘッドから計算した損失を共同で最適化し、共通多面的「ジャヌス」問題を緩和し、生成されたアバターの表情詳細を改善する。 広範な評価は、dreamavatarが既存の方法を大きく上回っており、テキストと形状の3dアバター生成のための新しい最先端の技術を確立していることを示している。

関連論文リスト

• CHASE: 3D-Consistent Human Avatars with Sparse Inputs via Gaussian Splatting and Contrastive Learning [19.763523500564542]
  ポーズ間における本質的な3次元一貫性と3次元幾何の対比学習を両立させるCHASEを提案する。 CHASEはスパース入力に匹敵する性能をフル入力で達成する。 CHASEはスパース入力用に設計されているが、現在のSOTAメソッドよりも驚くほど優れている。
  論文  参考訳（メタデータ） (2024-08-19T02:46:23Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
  AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。 我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。 本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-16T14:18:51Z)
• StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation [103.88928334431786]
  高品質な3Dアバターを製作するための新しい手法を提案する。 データ生成には事前学習した画像テキスト拡散モデルとGANベースの3次元生成ネットワークを用いて訓練を行う。 提案手法は、生産されたアバターの視覚的品質と多様性の観点から、現在の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-30T13:09:21Z)
• AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。 提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。 シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
  論文  参考訳（メタデータ） (2022-11-26T15:15:45Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。