論文の概要: AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation
- arxiv url: http://arxiv.org/abs/2306.09864v1
- Date: Fri, 16 Jun 2023 14:18:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 13:30:40.425482
- Title: AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation
- Title（参考訳）: AvatarBooth:高品質でカスタマイズ可能な3Dアバター
- Authors: Yifei Zeng, Yuanxun Lu, Xinya Ji, Yao Yao, Hao Zhu, Xun Cao
- Abstract要約: AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。
我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。
本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
- 参考スコア（独自算出の注目度）: 14.062402203105712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce AvatarBooth, a novel method for generating high-quality 3D
avatars using text prompts or specific images. Unlike previous approaches that
can only synthesize avatars based on simple text descriptions, our method
enables the creation of personalized avatars from casually captured face or
body images, while still supporting text-based model generation and editing.
Our key contribution is the precise avatar generation control by using dual
fine-tuned diffusion models separately for the human face and body. This
enables us to capture intricate details of facial appearance, clothing, and
accessories, resulting in highly realistic avatar generations. Furthermore, we
introduce pose-consistent constraint to the optimization process to enhance the
multi-view consistency of synthesized head images from the diffusion model and
thus eliminate interference from uncontrolled human poses. In addition, we
present a multi-resolution rendering strategy that facilitates coarse-to-fine
supervision of 3D avatar generation, thereby enhancing the performance of the
proposed system. The resulting avatar model can be further edited using
additional text descriptions and driven by motion sequences. Experiments show
that AvatarBooth outperforms previous text-to-3D methods in terms of rendering
and geometric quality from either text prompts or specific images. Please check
our project website at https://zeng-yifei.github.io/avatarbooth_page/.
- Abstract（参考訳）: テキストプロンプトや特定の画像を用いて高品質な3Dアバターを生成する新しい方法であるAvatarBoothを紹介する。
簡単なテキスト記述に基づいてのみアバターを合成できる従来のアプローチとは異なり、本手法では、テキストベースのモデル生成と編集をサポートしながら、カジュアルにキャプチャされた顔や身体画像からパーソナライズされたアバターを作成することができる。
我々の重要な貢献は、人間の顔と体に2つの微調整拡散モデルを用いて正確なアバター生成制御を行うことである。
これにより、顔の外観、衣服、アクセサリーの複雑な詳細を捉えることができ、結果として非常に現実的なアバター世代が生まれる。
さらに, 拡散モデルから合成した頭部画像のマルチビュー一貫性を高めるために, 最適化プロセスにポーズ一貫性制約を導入することにより, 制御不能な人間のポーズからの干渉を解消する。
さらに,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング方式を提案し,提案方式の性能向上を図る。
結果として得られるアバターモデルは、追加のテキスト記述を使用してさらに編集でき、モーションシーケンスによって駆動される。
実験により、AvatarBoothはテキストプロンプトまたは特定の画像からレンダリングや幾何学的品質の点で、従来のテキスト・ツー・3D手法よりも優れていることが示された。
プロジェクトのwebサイトはhttps://zeng-yifei.github.io/avatarbooth_page/。
関連論文リスト
- DivAvatar: Diverse 3D Avatar Generation with a Single Prompt [95.9978722953278]
DivAvatarは、単一のテキストプロンプトから多様なアバターを生成するフレームワークである。
生成の多様性と視覚的品質を達成するための2つの重要な設計がある。
大規模な実験により、ディヴァバターは様々な外観のアバターを生成するのに非常に多用途であることが示されている。
論文 参考訳（メタデータ） (2024-02-27T08:10:31Z) - One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation [31.310769289315648]
本稿では,1ユーザあたり1枚または数枚の画像のみを利用した高品質なヘッドアバターを作成するための新しいアプローチを提案する。
我々は2407名の被験者から多視点の表情データセットから3次元アニマタブルなフォトリアリスティックヘッドアバターの生成モデルを学習した。
提案手法は,従来のアバター適応手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-19T07:48:29Z) - Disentangled Clothed Avatar Generation from Text Descriptions [41.01453534915251]
本稿では,人体と衣服を別々に生成する新しいテキスト・トゥ・アバター生成手法を提案する。
提案手法は,テクスチャやテクスチャの質の向上,テキストプロンプトとのセマンティックアライメントの向上を実現する。
論文 参考訳（メタデータ） (2023-12-08T18:43:12Z) - AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text [71.09533176800707]
アバターストゥディオ(AvatarStudio)は、アニマタブルな人間のアバターのために、明瞭なテクスチャ化された3Dメッシュを生成する粗大で微細な生成モデルである。
調音メッシュ表現とDensePose条件拡散モデルとの相乗効果を効果的に活用することにより、AvatarStudioは高品質なアバターを作成することができる。
論文 参考訳（メタデータ） (2023-11-29T18:59:32Z) - AvatarFusion: Zero-shot Generation of Clothing-Decoupled 3D Avatars
Using 2D Diffusion [34.609403685504944]
ゼロショットテキスト-アバター生成のためのフレームワークであるAvatarFusionを提案する。
我々は遅延拡散モデルを用いて、人間の現実的なアバターを生成するためのピクセルレベルのガイダンスを提供する。
また,身体と衣服の生成を意味的に分離する新たな最適化手法である,PS-DS(Pixel-Semantics Difference-Sampling)を導入する。
論文 参考訳（メタデータ） (2023-07-13T02:19:56Z) - HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。
まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。
テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
論文 参考訳（メタデータ） (2023-06-05T16:53:58Z) - DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。
アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
論文 参考訳（メタデータ） (2023-05-21T17:59:39Z) - Text-Conditional Contextualized Avatars For Zero-Shot Personalization [47.85747039373798]
本研究では,アバターによる画像生成のパーソナライズを可能にするパイプラインを提案する。
私たちのパイプラインはゼロショット、アバターテクスチャ、スタイル非依存で、アバターのトレーニングは一切必要ありません。
大規模な画像データセットを利用して人間の3Dポーズパラメータを学習する方法を初めて示す。
論文 参考訳（メタデータ） (2023-04-14T22:00:44Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳（メタデータ） (2023-04-03T12:11:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。