論文の概要: Rodin: A Generative Model for Sculpting 3D Digital Avatars Using
Diffusion
- arxiv url: http://arxiv.org/abs/2212.06135v1
- Date: Mon, 12 Dec 2022 18:59:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 17:04:49.850476
- Title: Rodin: A Generative Model for Sculpting 3D Digital Avatars Using
Diffusion
- Title(参考訳): Rodin:拡散を利用した3Dデジタルアバターの創成モデル
- Authors: Tengfei Wang, Bo Zhang, Ting Zhang, Shuyang Gu, Jianmin Bao, Tadas
Baltrusaitis, Jingjing Shen, Dong Chen, Fang Wen, Qifeng Chen, Baining Guo
- Abstract要約: 本稿では,拡散モデルを用いて3次元デジタルアバターを自動的に生成する3次元生成モデルを提案する。
3Dのメモリと処理コストは、高品質なアバターに必要な豊富な細部を生産することを禁じられている。
私たちは、リアルな髪型とひげのような顔の毛を持つ非常に詳細なアバターを作ることができます。
- 参考スコア(独自算出の注目度): 66.26780039133122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a 3D generative model that uses diffusion models to
automatically generate 3D digital avatars represented as neural radiance
fields. A significant challenge in generating such avatars is that the memory
and processing costs in 3D are prohibitive for producing the rich details
required for high-quality avatars. To tackle this problem we propose the
roll-out diffusion network (Rodin), which represents a neural radiance field as
multiple 2D feature maps and rolls out these maps into a single 2D feature
plane within which we perform 3D-aware diffusion. The Rodin model brings the
much-needed computational efficiency while preserving the integrity of
diffusion in 3D by using 3D-aware convolution that attends to projected
features in the 2D feature plane according to their original relationship in
3D. We also use latent conditioning to orchestrate the feature generation for
global coherence, leading to high-fidelity avatars and enabling their semantic
editing based on text prompts. Finally, we use hierarchical synthesis to
further enhance details. The 3D avatars generated by our model compare
favorably with those produced by existing generative techniques. We can
generate highly detailed avatars with realistic hairstyles and facial hair like
beards. We also demonstrate 3D avatar generation from image or text as well as
text-guided editability.
- Abstract(参考訳): 本稿では,拡散モデルを用いて神経放射場を表す3次元デジタルアバターを自動生成する3次元生成モデルを提案する。
このようなアバターを生成する上での重大な課題は、3dのメモリと処理コストが高品質アバターに必要なリッチなディテールを生成できることである。
この問題を解決するために,複数の2次元特徴写像として神経放射場を表すロールアウト拡散ネットワーク (Rodin) を提案し,これらのマップを1つの2次元特徴平面にロールアウトして3次元拡散を行う。
Rodinモデルでは、3Dにおける拡散の完全性を維持しつつ、3Dにおける元の関係に従って2D特徴面の投影された特徴に付随する3D認識畳み込みを用いて計算効率を向上する。
我々はまた,グローバルコヒーレンスのための特徴生成のオーケストレーションに潜時条件付けを使用し,高忠実度アバターを実現し,テキストプロンプトに基づく意味的な編集を可能にする。
最後に,階層合成を用いてさらに詳細化を行う。
モデルにより生成された3Dアバターは,既存の生成技術とよく比較できる。
リアルな髪型とあごひげのような顔の毛を持つ、非常に詳細なアバターを生成できる。
また,画像やテキストからの3dアバター生成や,テキストガイドによる編集性を示す。
関連論文リスト
- Text2Avatar: Text to 3D Human Avatar Generation with Codebook-Driven
Body Controllable Attribute [33.330629835556664]
本研究では,テキストプロンプトを結合した3次元アバターを現実的に生成できるText2Avatarを提案する。
リアルな3次元アバターデータの不足を軽減するために, 事前学習した非条件の3次元アバター生成モデルを用いる。
論文 参考訳(メタデータ) (2024-01-01T09:39:57Z) - Articulated 3D Head Avatar Generation using Text-to-Image Diffusion
Models [107.84324544272481]
多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。
テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。
拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-10T19:15:32Z) - Chupa: Carving 3D Clothed Humans from Skinned Shape Priors using 2D
Diffusion Probabilistic Models [9.479195068754507]
拡散モデルを用いてリアルな人間のデジタルアバターを生成する3D生成パイプラインを提案する。
われわれの方法であるChupaは、知覚的品質とアイデンティティの多様性を向上したリアルな3D衣服を作成できる。
論文 参考訳(メタデータ) (2023-05-19T17:59:18Z) - AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。
本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。
提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
論文 参考訳(メタデータ) (2023-05-03T17:56:24Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳(メタデータ) (2023-04-03T12:11:51Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。
DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
論文 参考訳(メタデータ) (2021-12-02T17:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。