論文の概要: TexDreamer: Towards Zero-Shot High-Fidelity 3D Human Texture Generation
- arxiv url: http://arxiv.org/abs/2403.12906v1
- Date: Tue, 19 Mar 2024 17:02:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 13:24:34.116909
- Title: TexDreamer: Towards Zero-Shot High-Fidelity 3D Human Texture Generation
- Title(参考訳): TexDreamer: ゼロショット高忠実度3Dヒューマンテクスチャ生成を目指して
- Authors: Yufei Liu, Junwei Zhu, Junshu Tang, Shijie Zhang, Jiangning Zhang, Weijian Cao, Chengjie Wang, Yunsheng Wu, Dongjin Huang,
- Abstract要約: TexDreamerは、最初のゼロショットマルチモーダル高忠実度3Dヒューマンテクスチャ生成モデルである。
ArTicuLated humAn textureSは,最大解像度(1024×1024)のヒトテクスチャデータセットである。
- 参考スコア(独自算出の注目度): 41.959089177835764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Texturing 3D humans with semantic UV maps remains a challenge due to the difficulty of acquiring reasonably unfolded UV. Despite recent text-to-3D advancements in supervising multi-view renderings using large text-to-image (T2I) models, issues persist with generation speed, text consistency, and texture quality, resulting in data scarcity among existing datasets. We present TexDreamer, the first zero-shot multimodal high-fidelity 3D human texture generation model. Utilizing an efficient texture adaptation finetuning strategy, we adapt large T2I model to a semantic UV structure while preserving its original generalization capability. Leveraging a novel feature translator module, the trained model is capable of generating high-fidelity 3D human textures from either text or image within seconds. Furthermore, we introduce ArTicuLated humAn textureS (ATLAS), the largest high-resolution (1024 X 1024) 3D human texture dataset which contains 50k high-fidelity textures with text descriptions.
- Abstract(参考訳): 意味のあるUVマップを持つ3D人間のテクスチャは、合理的に展開されたUVを得るのが難しいため、依然として課題である。
大規模なテキスト・ツー・イメージ(T2I)モデルを用いたマルチビューレンダリングの監視における最近のテキスト・ツー・3Dの進歩にもかかわらず、問題は生成速度、テキストの一貫性、テクスチャの品質に続き、既存のデータセットにデータ不足をもたらす。
ゼロショット型マルチモーダル高忠実度3次元ヒューマンテクスチャ生成モデルであるTexDreamerを提案する。
効率的なテクスチャ適応微調整戦略を用いることで,従来の一般化能力を保ちながら,大きなT2IモデルをセマンティックUV構造に適応させる。
新たな機能トランスレータモジュールを活用することで、トレーニングされたモデルは、テキストまたは画像から高忠実な3Dヒューマンテクスチャを生成することができる。
さらに,ArTicuLated humAn textureS (ATLAS)を紹介する。
関連論文リスト
- UVMap-ID: A Controllable and Personalized UV Map Generative Model [67.71022515856653]
制御可能でパーソナライズされたUVマップ生成モデルであるUVMap-IDを導入する。
従来の2次元の大規模学習法とは異なり,本研究では,事前学習したテキスト・画像拡散モデルの微調整を提案する。
定量的および定性的な解析は、制御可能でパーソナライズされたUVマップ生成における本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-04-22T20:30:45Z) - EucliDreamer: Fast and High-Quality Texturing for 3D Models with Depth-Conditioned Stable Diffusion [5.158983929861116]
EucliDreamerは、テキストとプロンプトが与えられた3次元モデルのテクスチャを生成するための、シンプルで効果的な方法である。
テクスチャは3次元表面上の暗黙の関数としてパラメータ化され、スコア蒸留サンプリング(SDS)プロセスと微分レンダリングで最適化される。
論文 参考訳(メタデータ) (2024-04-16T04:44:16Z) - TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion [64.49276500129092]
TextureDreamerは画像誘導型テクスチャ合成法である。
少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
論文 参考訳(メタデータ) (2024-01-17T18:55:49Z) - Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models [34.715076045118444]
Paint3Dは、テキストや画像入力の非テクスチャな3Dメッシュに対して、高解像度で、ライトレスで、多様な2K UVテクスチャマップを生成する。
論文 参考訳(メタデータ) (2023-12-21T15:01:47Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳(メタデータ) (2023-10-20T19:15:29Z) - FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction [46.3392612457273]
このデータセットには、5万以上の高品質なテクスチャUVマップが含まれており、照度、中性表現、クリーンな顔領域がある。
我々のパイプラインは、StyleGANベースの顔画像編集アプローチの最近の進歩を活用している。
実験により,本手法は最先端手法よりも再現精度が向上することが示された。
論文 参考訳(メタデータ) (2022-11-25T03:21:05Z) - AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。
結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。
学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
論文 参考訳(メタデータ) (2022-04-06T21:39:24Z) - OSTeC: One-Shot Texture Completion [86.23018402732748]
ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。
提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。
完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
論文 参考訳(メタデータ) (2020-12-30T23:53:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。