論文の概要: AvatarVerse: High-quality & Stable 3D Avatar Creation from Text and Pose
- arxiv url: http://arxiv.org/abs/2308.03610v1
- Date: Mon, 7 Aug 2023 14:09:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 13:24:47.615306
- Title: AvatarVerse: High-quality & Stable 3D Avatar Creation from Text and Pose
- Title（参考訳）: AvatarVerse:テキストと詩による高品質で安定な3Dアバター作成
- Authors: Huichao Zhang, Bowen Chen, Hao Yang, Liao Qu, Xu Wang, Li Chen, Chao
Long, Feida Zhu, Kang Du, Min Zheng
- Abstract要約: AvatarVerseはテキスト記述とポーズガイダンスから高表現性3Dアバターを生成する安定なパイプラインである。
そこで本研究では, より表現力が高いだけでなく, 高品質な3次元アバターの非忠実な3次元モデリングを提案する。
- 参考スコア（独自算出の注目度）: 23.76390935089982
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Creating expressive, diverse and high-quality 3D avatars from highly
customized text descriptions and pose guidance is a challenging task, due to
the intricacy of modeling and texturing in 3D that ensure details and various
styles (realistic, fictional, etc). We present AvatarVerse, a stable pipeline
for generating expressive high-quality 3D avatars from nothing but text
descriptions and pose guidance. In specific, we introduce a 2D diffusion model
conditioned on DensePose signal to establish 3D pose control of avatars through
2D images, which enhances view consistency from partially observed scenarios.
It addresses the infamous Janus Problem and significantly stablizes the
generation process. Moreover, we propose a progressive high-resolution 3D
synthesis strategy, which obtains substantial improvement over the quality of
the created 3D avatars. To this end, the proposed AvatarVerse pipeline achieves
zero-shot 3D modeling of 3D avatars that are not only more expressive, but also
in higher quality and fidelity than previous works. Rigorous qualitative
evaluations and user studies showcase AvatarVerse's superiority in synthesizing
high-fidelity 3D avatars, leading to a new standard in high-quality and stable
3D avatar creation. Our project page is: https://avatarverse3d.github.io
- Abstract（参考訳）: 表現的で多様で高品質な3Dアバターを高度にカスタマイズされたテキスト記述から作成し、ガイダンスを付けることは、詳細と様々なスタイル(現実的、フィクション的など)を確実にする3Dのモデリングとテクスチャの複雑さのため、難しい作業である。
AvatarVerseは、テキスト記述とポーズガイダンスのみから、表現力のある高品質な3Dアバターを生成する安定なパイプラインである。
具体的には,2次元画像によるアバターの3次元ポーズ制御を確立するために,高密度信号に基づく2次元拡散モデルを導入する。
悪名高いヤヌス問題に対処し、生成過程を著しく停滞させる。
さらに, 生成した3Dアバターの品質を大幅に向上させる, プログレッシブ高分解能3D合成戦略を提案する。
この目的のために、提案するアバターバースパイプラインは、より表現力に富んだ3dアバターのゼロショット3dモデリングを実現するだけでなく、従来の作品よりも高品質で忠実な3dアバターのモデリングを実現する。
厳密な質的評価とユーザスタディは、高忠実度3Dアバターの合成におけるAvatarVerseの優位性を示し、高品質で安定した3Dアバター作成の新しい標準となった。
私たちのプロジェクトページは、https://avatarverse3d.github.io
関連論文リスト
- DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D
Diffusion [69.67970568012599]
テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。
このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。
我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
論文 参考訳（メタデータ） (2024-09-25T17:59:45Z) - DivAvatar: Diverse 3D Avatar Generation with a Single Prompt [95.9978722953278]
DivAvatarは、単一のテキストプロンプトから多様なアバターを生成するフレームワークである。
生成の多様性と視覚的品質を達成するための2つの重要な設計がある。
大規模な実験により、ディヴァバターは様々な外観のアバターを生成するのに非常に多用途であることが示されている。
論文 参考訳（メタデータ） (2024-02-27T08:10:31Z) - Text2Avatar: Text to 3D Human Avatar Generation with Codebook-Driven
Body Controllable Attribute [33.330629835556664]
本研究では,テキストプロンプトを結合した3次元アバターを現実的に生成できるText2Avatarを提案する。
リアルな3次元アバターデータの不足を軽減するために, 事前学習した非条件の3次元アバター生成モデルを用いる。
論文 参考訳（メタデータ） (2024-01-01T09:39:57Z) - AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text [71.09533176800707]
アバターストゥディオ(AvatarStudio)は、アニマタブルな人間のアバターのために、明瞭なテクスチャ化された3Dメッシュを生成する粗大で微細な生成モデルである。
調音メッシュ表現とDensePose条件拡散モデルとの相乗効果を効果的に活用することにより、AvatarStudioは高品質なアバターを作成することができる。
論文 参考訳（メタデータ） (2023-11-29T18:59:32Z) - AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。
我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。
本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
論文 参考訳（メタデータ） (2023-06-16T14:18:51Z) - DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。
アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
論文 参考訳（メタデータ） (2023-05-21T17:59:39Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳（メタデータ） (2023-04-03T12:11:51Z) - Rodin: A Generative Model for Sculpting 3D Digital Avatars Using
Diffusion [66.26780039133122]
本稿では,拡散モデルを用いて3次元デジタルアバターを自動的に生成する3次元生成モデルを提案する。
3Dのメモリと処理コストは、高品質なアバターに必要な豊富な細部を生産することを禁じられている。
私たちは、リアルな髪型とひげのような顔の毛を持つ非常に詳細なアバターを作ることができます。
論文 参考訳（メタデータ） (2022-12-12T18:59:40Z) - AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars [37.43588165101838]
AvatarCLIPは、3Dアバター生成とアニメーションのためのゼロショットテキスト駆動フレームワークである。
我々は、強力な視覚言語モデルCLIPを利用して、ニューラル・ヒューマン・ジェネレーションを監督する。
動作VAEで得られた先行情報を活用することで,CLIP誘導参照ベースモーション合成法が生成した3Dアバターのアニメーションに対して提案される。
論文 参考訳（メタデータ） (2022-05-17T17:59:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。