論文の概要: Make-It-Vivid: Dressing Your Animatable Biped Cartoon Characters from Text

• arxiv url: http://arxiv.org/abs/2403.16897v1
• Date: Mon, 25 Mar 2024 16:08:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 20:34:33.698612
• Title: Make-It-Vivid: Dressing Your Animatable Biped Cartoon Characters from Text
• Title（参考訳）: Make-It-Vivid:テキストからアニメーションの2足のカートゥーン文字をドラッグする
• Authors: Junshu Tang, Yanhong Zeng, Ke Fan, Xuheng Wang, Bo Dai, Kai Chen, Lizhuang Ma,
• Abstract要約: 入力命令に基づく漫画文字の自動テクスチャ設計に着目する。 これはドメイン固有の要件と高品質なデータの欠如にとって難しい。 UVテキストから高品質なテクスチャ生成を可能にする最初の試みとして,Make-ItViviを提案する。
• 参考スコア（独自算出の注目度）: 38.591390310534024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating and animating 3D biped cartoon characters is crucial and valuable in various applications. Compared with geometry, the diverse texture design plays an important role in making 3D biped cartoon characters vivid and charming. Therefore, we focus on automatic texture design for cartoon characters based on input instructions. This is challenging for domain-specific requirements and a lack of high-quality data. To address this challenge, we propose Make-It-Vivid, the first attempt to enable high-quality texture generation from text in UV space. We prepare a detailed text-texture paired data for 3D characters by using vision-question-answering agents. Then we customize a pretrained text-to-image model to generate texture map with template structure while preserving the natural 2D image knowledge. Furthermore, to enhance fine-grained details, we propose a novel adversarial learning scheme to shorten the domain gap between original dataset and realistic texture domain. Extensive experiments show that our approach outperforms current texture generation methods, resulting in efficient character texturing and faithful generation with prompts. Besides, we showcase various applications such as out of domain generation and texture stylization. We also provide an efficient generation system for automatic text-guided textured character generation and animation.
• Abstract（参考訳）: 3D2Dアニメキャラクターの作成とアニメーションは、様々な用途において重要かつ価値のあるものである。 幾何学と比較すると、多彩なテクスチャデザインは、3Dバイペッドの漫画キャラクターを鮮明で魅力的なものにする上で重要な役割を担っている。 そこで本研究では,入力命令に基づく漫画キャラクタの自動テクスチャ設計に焦点をあてる。 これはドメイン固有の要件と高品質なデータの欠如にとって難しい。 この課題に対処するため,UV空間におけるテキストから高品質なテクスチャ生成を可能にする最初の試みであるMake-It-Vividを提案する。 視覚質問応答エージェントを用いて3次元文字の詳細なテキスト・テクスチャ・ペアデータを作成する。 次に、事前訓練されたテキスト・ツー・イメージ・モデルをカスタマイズし、自然な2次元画像知識を保存しながら、テンプレート構造を持つテクスチャマップを生成する。 さらに,細かな詳細性を高めるために,従来のデータセットと現実的なテクスチャ領域とのドメインギャップを短くする,新たな逆学習手法を提案する。 大規模な実験により,本手法は現在のテクスチャ生成方法よりも優れており,文字テクスチャの効率化や,プロンプトによる忠実な生成を実現していることがわかった。 さらに、ドメイン生成やテクスチャのスタイリングなど、さまざまな応用を紹介します。 また,テキスト誘導型テクスチャ文字自動生成とアニメーションのための効率的な生成システムも提供する。

関連論文リスト

• WordRobe: Text-Guided Generation of Textured 3D Garments [30.614451083408266]
  WordRobeは、ユーザフレンドリーなテキストプロンプトから非ポーズでテクスチャ化された3Dメッシュを生成するための新しいフレームワークである。 本研究では,3次元衣服空間の学習,衣服合成,テクスチャ合成において,現在のSOTAよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-26T09:44:34Z)
• DressCode: Autoregressively Sewing and Generating Garments from Text Guidance [61.48120090970027]
  DressCodeは、初心者向けのデザインを民主化し、ファッションデザイン、バーチャルトライオン、デジタルヒューマン創造において大きな可能性を秘めている。 まず,テキスト条件の埋め込みとクロスアテンションを統合して縫製パターンを生成する,GPTベースのアーキテクチャであるSewingGPTを紹介する。 次に、トレーニング済みの安定拡散を調整し、タイルベースの衣服用物理レンダリング(PBR)テクスチャを生成します。
  論文  参考訳（メタデータ） (2024-01-29T16:24:21Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation [31.353409149640605]
  本稿では没入型VR体験のための3次元テクスチャ生成のための新しいフレームワークを提案する。 生き残るために、我々は秘密の領域でテクスチャの手がかりを分け、現実世界の環境でネットワークテクスチャを学ぶ。
  論文  参考訳（メタデータ） (2023-10-19T19:29:23Z)
• Text2Scene: Text-driven Indoor Scene Stylization with Part-aware Details [12.660352353074012]
  複数のオブジェクトからなる仮想シーンの現実的なテクスチャを自動生成するText2Sceneを提案する。 我々のパイプラインは、室内のラベル付き3Dジオメトリに詳細なテクスチャを追加し、生成した色が、しばしば類似の材料から構成される階層構造や意味的な部分を尊重するようにします。
  論文  参考訳（メタデータ） (2023-08-31T17:37:23Z)
• TADA! Text to Animatable Digital Avatars [57.52707683788961]
  TADAはテキスト記述を取り込み、高品質な幾何学とライフスタイルのテクスチャを備えた表現力のある3Dアバターを生産する。 我々は3次元変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導出した。 我々は、生成した文字の正規表現とRGB画像をレンダリングし、SDSトレーニングプロセスにおけるそれらの潜伏埋め込みを利用する。
  論文  参考訳（メタデータ） (2023-08-21T17:59:10Z)
• TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision [114.56048848216254]
  テキスト誘導型3次元形状生成器を疑似キャプションで訓練するための新しいフレームワークTAPS3Dを提案する。 レンダリングされた2D画像に基づいて,CLIP語彙から関連する単語を検索し,テンプレートを用いて擬似キャプションを構築する。 構築したキャプションは、生成された3次元形状の高レベルなセマンティック管理を提供する。
  論文  参考訳（メタデータ） (2023-03-23T13:53:16Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。