論文の概要: TADA! Text to Animatable Digital Avatars

• arxiv url: http://arxiv.org/abs/2308.10899v1
• Date: Mon, 21 Aug 2023 17:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 12:19:26.384737
• Title: TADA! Text to Animatable Digital Avatars
• Title（参考訳）: 多田! デジタルアバターのテキスト化
• Authors: Tingting Liao, Hongwei Yi, Yuliang Xiu, Jiaxaing Tang, Yangyi Huang, Justus Thies, Michael J. Black
• Abstract要約: TADAはテキスト記述を取り込み、高品質な幾何学とライフスタイルのテクスチャを備えた表現力のある3Dアバターを生産する。 我々は3次元変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導出した。 我々は、生成した文字の正規表現とRGB画像をレンダリングし、SDSトレーニングプロセスにおけるそれらの潜伏埋め込みを利用する。
• 参考スコア（独自算出の注目度）: 57.52707683788961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce TADA, a simple-yet-effective approach that takes textual descriptions and produces expressive 3D avatars with high-quality geometry and lifelike textures, that can be animated and rendered with traditional graphics pipelines. Existing text-based character generation methods are limited in terms of geometry and texture quality, and cannot be realistically animated due to inconsistent alignment between the geometry and the texture, particularly in the face region. To overcome these limitations, TADA leverages the synergy of a 2D diffusion model and an animatable parametric body model. Specifically, we derive an optimizable high-resolution body model from SMPL-X with 3D displacements and a texture map, and use hierarchical rendering with score distillation sampling (SDS) to create high-quality, detailed, holistic 3D avatars from text. To ensure alignment between the geometry and texture, we render normals and RGB images of the generated character and exploit their latent embeddings in the SDS training process. We further introduce various expression parameters to deform the generated character during training, ensuring that the semantics of our generated character remain consistent with the original SMPL-X model, resulting in an animatable character. Comprehensive evaluations demonstrate that TADA significantly surpasses existing approaches on both qualitative and quantitative measures. TADA enables creation of large-scale digital character assets that are ready for animation and rendering, while also being easily editable through natural language. The code will be public for research purposes.
• Abstract（参考訳）: テキスト記述を取り入れ,高品質な幾何学とライフスタイルを備えた表現型3Dアバターを製作し,従来のグラフィックパイプラインでアニメーションやレンダリングを行う,シンプルなyet- EffectiveアプローチであるTADを紹介した。 既存のテキストベースの文字生成手法は、テクスチャやテクスチャの質の点で制限されており、特に顔領域における幾何学とテクスチャの整合性のために現実的にアニメーションすることはできない。 これらの制限を克服するために、TADは2次元拡散モデルとアニマタブルパラメトリックボディモデルの相乗効果を利用する。 具体的には、3D変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導き、スコア蒸留サンプリング(SDS)を用いた階層的レンダリングを用いてテキストから高品質で詳細な3Dアバターを作成する。 形状とテクスチャの整合性を確保するため、生成した文字の正規表現とRGB画像を作成し、SDSトレーニングプロセスにそれらの潜伏埋め込みを利用する。 さらに、トレーニング中に生成された文字を変形させる様々な表現パラメータを導入し、生成した文字のセマンティクスが元のSMPL-Xモデルと一致し続けることを保証する。 総合的な評価は、TADが質的および量的両面で既存のアプローチを大幅に上回っていることを示している。 TADAは、アニメーションやレンダリングが可能な大規模なデジタル文字アセットの作成を可能にすると同時に、自然言語による編集も容易である。 コードは研究目的で公開されます。

関連論文リスト

• Make-It-Vivid: Dressing Your Animatable Biped Cartoon Characters from Text [38.591390310534024]
  入力命令に基づく漫画文字の自動テクスチャ設計に着目する。 これはドメイン固有の要件と高品質なデータの欠如にとって難しい。 UVテキストから高品質なテクスチャ生成を可能にする最初の試みとして,Make-ItViviを提案する。
  論文  参考訳（メタデータ） (2024-03-25T16:08:04Z)
• En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data [36.51674664590734]
  本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。 従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
  論文  参考訳（メタデータ） (2024-01-02T12:06:31Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation [45.69270771487455]
  本稿では,高品質なテキスト・ツー・3Dコンテンツ作成のためのFantasia3Dの新たな手法を提案する。 Fantasia3Dの鍵となるのは、幾何学と外観の混乱したモデリングと学習である。 我々のフレームワークは、人気のあるグラフィックスエンジンとより互換性があり、生成した3Dアセットのリライティング、編集、物理シミュレーションをサポートしています。
  論文  参考訳（メタデータ） (2023-03-24T09:30:09Z)
• TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision [114.56048848216254]
  テキスト誘導型3次元形状生成器を疑似キャプションで訓練するための新しいフレームワークTAPS3Dを提案する。 レンダリングされた2D画像に基づいて,CLIP語彙から関連する単語を検索し,テンプレートを用いて擬似キャプションを構築する。 構築したキャプションは、生成された3次元形状の高レベルなセマンティック管理を提供する。
  論文  参考訳（メタデータ） (2023-03-23T13:53:16Z)
• 3DAvatarGAN: Bridging Domains for Personalized Editable Avatars [75.31960120109106]
  3D-GANは、一貫した構造を持つ大規模データセットのトレーニングにより、幾何学とテクスチャを合成する。 本稿では,ソースドメインが事前訓練された3D-GANであり,ターゲットドメインが2D-GANである適応フレームワークを提案する。 本稿では,芸術領域の誇張された幾何学をモデル化するための変形に基づく手法について述べる。
  論文  参考訳（メタデータ） (2023-01-06T19:58:47Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。