論文の概要: AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text
- arxiv url: http://arxiv.org/abs/2311.17917v1
- Date: Wed, 29 Nov 2023 18:59:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 20:11:14.362124
- Title: AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text
- Title(参考訳): AvatarStudio:テキストから高忠実でアニマタブルな3Dアバター作成
- Authors: Jianfeng Zhang, Xuanmeng Zhang, Huichao Zhang, Jun Hao Liew, Chenxu
Zhang, Yi Yang, Jiashi Feng
- Abstract要約: アバターストゥディオ(AvatarStudio)は、アニマタブルな人間のアバターのために、明瞭なテクスチャ化された3Dメッシュを生成する粗大で微細な生成モデルである。
調音メッシュ表現とDensePose条件拡散モデルとの相乗効果を効果的に活用することにより、AvatarStudioは高品質なアバターを作成することができる。
- 参考スコア(独自算出の注目度): 71.09533176800707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of creating high-fidelity and animatable 3D avatars from
only textual descriptions. Existing text-to-avatar methods are either limited
to static avatars which cannot be animated or struggle to generate animatable
avatars with promising quality and precise pose control. To address these
limitations, we propose AvatarStudio, a coarse-to-fine generative model that
generates explicit textured 3D meshes for animatable human avatars.
Specifically, AvatarStudio begins with a low-resolution NeRF-based
representation for coarse generation, followed by incorporating SMPL-guided
articulation into the explicit mesh representation to support avatar animation
and high resolution rendering. To ensure view consistency and pose
controllability of the resulting avatars, we introduce a 2D diffusion model
conditioned on DensePose for Score Distillation Sampling supervision. By
effectively leveraging the synergy between the articulated mesh representation
and the DensePose-conditional diffusion model, AvatarStudio can create
high-quality avatars from text that are ready for animation, significantly
outperforming previous methods. Moreover, it is competent for many
applications, e.g., multimodal avatar animations and style-guided avatar
creation. For more results, please refer to our project page:
http://jeff95.me/projects/avatarstudio.html
- Abstract(参考訳): テキスト記述のみから高忠実でアニマタブルな3Dアバターを作成する問題について検討する。
既存のtext-to-avatarメソッドは、アニメーションできない静的アバターに制限されるか、将来性のある品質と正確なポーズ制御を備えたアニメーション可能なアバターを生成するのに苦労する。
これらの制約に対処するため,アニマタブルなヒトアバターに対して,明瞭なテクスチャ化された3Dメッシュを生成する粗大な生成モデルであるAvatarStudioを提案する。
特に、AvatarStudioは、粗い生成のための低解像度のNeRFベースの表現から始まり、次にSMPL誘導の調音を明示的なメッシュ表現に組み込んで、アバターアニメーションと高解像度レンダリングをサポートする。
そこで, 本研究では, DensePose で設定した2次元拡散モデルを用いて, スコア蒸留サンプリングの監視を行う。
アバタースタディオは、調停されたメッシュ表現と高密度条件拡散モデルとの相乗効果を効果的に活用することにより、アニメーションの準備が整ったテキストから高品質のアバターを作成できる。
さらに、マルチモーダルアバターアニメーションやスタイル誘導アバター作成など、多くのアプリケーションに向いている。
詳細はプロジェクトのページを参照。 http://jeff95.me/projects/avatarstudio.html。
関連論文リスト
- DivAvatar: Diverse 3D Avatar Generation with a Single Prompt [95.9978722953278]
DivAvatarは、単一のテキストプロンプトから多様なアバターを生成するフレームワークである。
生成の多様性と視覚的品質を達成するための2つの重要な設計がある。
大規模な実験により、ディヴァバターは様々な外観のアバターを生成するのに非常に多用途であることが示されている。
論文 参考訳(メタデータ) (2024-02-27T08:10:31Z) - MagicAvatar: Multimodal Avatar Generation and Animation [70.55750617502696]
MagicAvatarは、人間のアバターのマルチモーダルビデオ生成とアニメーションのためのフレームワークである。
アバター・ビデオ生成は、マルチモーダル・トゥ・モーションとモーション・トゥ・ビデオ・ジェネレーションの2段階に分けられる。
我々は,テキスト誘導アバター生成やビデオ誘導アバター生成など,様々な応用を通じてMagicAvatarの柔軟性を実証する。
論文 参考訳(メタデータ) (2023-08-28T17:56:18Z) - AvatarVerse: High-quality & Stable 3D Avatar Creation from Text and Pose [23.76390935089982]
AvatarVerseはテキスト記述とポーズガイダンスから高表現性3Dアバターを生成する安定なパイプラインである。
そこで本研究では, より表現力が高いだけでなく, 高品質な3次元アバターの非忠実な3次元モデリングを提案する。
論文 参考訳(メタデータ) (2023-08-07T14:09:46Z) - AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。
我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。
本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
論文 参考訳(メタデータ) (2023-06-16T14:18:51Z) - DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。
アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
論文 参考訳(メタデータ) (2023-05-21T17:59:39Z) - SwiftAvatar: Efficient Auto-Creation of Parameterized Stylized Character
on Arbitrary Avatar Engines [34.645129752596915]
我々は,新しいアバター自動作成フレームワークであるSwiftAvatarを提案する。
我々は、アバターベクトルとその対応する現実的な顔からなる高品質なデータをできるだけ多く合成する。
実験では2つの異なるアバターエンジンにおけるSwiftAvatarの有効性と効率を実証した。
論文 参考訳(メタデータ) (2023-01-19T16:14:28Z) - AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。
非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。
提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-08-01T01:27:02Z) - AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars [37.43588165101838]
AvatarCLIPは、3Dアバター生成とアニメーションのためのゼロショットテキスト駆動フレームワークである。
我々は、強力な視覚言語モデルCLIPを利用して、ニューラル・ヒューマン・ジェネレーションを監督する。
動作VAEで得られた先行情報を活用することで,CLIP誘導参照ベースモーション合成法が生成した3Dアバターのアニメーションに対して提案される。
論文 参考訳(メタデータ) (2022-05-17T17:59:19Z) - StylePeople: A Generative Model of Fullbody Human Avatars [59.42166744151461]
パラメトリックメッシュに基づく体モデルとニューラルテクスチャを組み合わせた,新しいタイプのフルボディヒトアバターを提案する。
このようなアバターは衣服や髪型をうまくモデル化できるため、メッシュベースのアプローチでは問題となる。
そこで我々は,画像や映像のデータセットから学習できるアバターの生成モデルを提案する。
論文 参考訳(メタデータ) (2021-04-16T20:43:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。