論文の概要: Text-guided High-definition Consistency Texture Model
- arxiv url: http://arxiv.org/abs/2305.05901v1
- Date: Wed, 10 May 2023 05:09:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 14:17:22.314011
- Title: Text-guided High-definition Consistency Texture Model
- Title(参考訳): テキスト誘導高感度テクスチャモデル
- Authors: Zhibin Tang, Tiantong He
- Abstract要約: 本稿では,3次元メッシュのテクスチャをテキストプロンプトに従って生成する手法として,HCTM(High-definition Consistency Texture Model)を提案する。
本研究では,事前学習した深度画像拡散モデルを利用して,テキストプロンプトと深度マップに基づいて単一視点結果を生成する。
提案手法は、3次元メッシュに対して高精細で一貫したテクスチャを生成する上で有望な結果を示した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: With the advent of depth-to-image diffusion models, text-guided generation,
editing, and transfer of realistic textures are no longer difficult. However,
due to the limitations of pre-trained diffusion models, they can only create
low-resolution, inconsistent textures. To address this issue, we present the
High-definition Consistency Texture Model (HCTM), a novel method that can
generate high-definition and consistent textures for 3D meshes according to the
text prompts. We achieve this by leveraging a pre-trained depth-to-image
diffusion model to generate single viewpoint results based on the text prompt
and a depth map. We fine-tune the diffusion model with Parameter-Efficient
Fine-Tuning to quickly learn the style of the generated result, and apply the
multi-diffusion strategy to produce high-resolution and consistent results from
different viewpoints. Furthermore, we propose a strategy that prevents the
appearance of noise on the textures caused by backpropagation. Our proposed
approach has demonstrated promising results in generating high-definition and
consistent textures for 3D meshes, as demonstrated through a series of
experiments.
- Abstract(参考訳): 奥行き拡散モデルの出現により、テキスト誘導生成、編集、現実的なテクスチャの伝達はもはや困難ではない。
しかし、事前訓練された拡散モデルの限界のため、低解像度で一貫性のないテクスチャしか生成できない。
そこで本稿では,テキストプロンプトに応じて3dメッシュに対して高精細で一貫性のあるテクスチャを生成する新しい手法であるhigh-definition consistency texture model(hctm)を提案する。
本研究では,事前学習した深度画像拡散モデルを利用して,テキストプロンプトと深度マップに基づいて単一視点結果を生成する。
パラメータ効率の良いファインチューニングで拡散モデルを微調整し、生成した結果のスタイルを迅速に学習し、マルチ拡散戦略を適用して、異なる視点から高分解能で一貫した結果を生成する。
さらに,バックプロパゲーションによるテクスチャにノイズが現れるのを防止する戦略を提案する。
提案手法は,3dメッシュに対して高精細で一貫性のあるテクスチャを生成するための有望な成果を,一連の実験で実証した。
関連論文リスト
- Grounded Compositional and Diverse Text-to-3D with Pretrained Multi-View Diffusion Model [65.58911408026748]
複雑な合成文のプロンプトを正確に追従できる3Dアセットを生成するために,グラウンドド・ドレーマーを提案する。
まず,テキスト・ツー・3Dパイプラインのボトルネックとして,テキスト誘導4視点画像の活用を提唱する。
次に,テキストアラインな4ビュー画像生成を促すための注意再焦点機構を導入する。
論文 参考訳(メタデータ) (2024-04-28T04:05:10Z) - EucliDreamer: Fast and High-Quality Texturing for 3D Models with Depth-Conditioned Stable Diffusion [5.158983929861116]
EucliDreamerは、テキストとプロンプトが与えられた3次元モデルのテクスチャを生成するための、シンプルで効果的な方法である。
テクスチャは3次元表面上の暗黙の関数としてパラメータ化され、スコア蒸留サンプリング(SDS)プロセスと微分レンダリングで最適化される。
論文 参考訳(メタデータ) (2024-04-16T04:44:16Z) - GenesisTex: Adapting Image Denoising Diffusion to Texture Space [15.907134430301133]
GenesisTexはテキスト記述から3次元幾何学のテクスチャを合成する新しい手法である。
我々は,各視点に対して潜在テクスチャマップを保持し,対応する視点の描画に予測ノイズを伴って更新する。
大域的整合性は、ノイズ予測ネットワーク内のスタイル整合性機構の統合によって達成される。
論文 参考訳(メタデータ) (2024-03-26T15:15:15Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳(メタデータ) (2023-10-20T19:15:29Z) - PaintHuman: Towards High-fidelity Text-to-3D Human Texturing via
Denoised Score Distillation [89.09455618184239]
テキスト・ツー・3D世代における最近の進歩は画期的なものである。
そこで我々はPaintHumanというモデルを提案し,その課題を2つの側面から解決する。
奥行きマップを手引きとして,現実的なセマンティックなテクスチャの整合性を保証する。
論文 参考訳(メタデータ) (2023-10-14T00:37:16Z) - IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。
我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。
組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
論文 参考訳(メタデータ) (2023-08-22T14:39:17Z) - HiFA: High-fidelity Text-to-3D Generation with Advanced Diffusion
Guidance [19.252300247300145]
本研究は,高品質なテキスト・ツー・3D生成を実現するための全体的サンプリングと平滑化手法を提案する。
テキスト・画像拡散モデルの潜時空間と画像空間における復調スコアを計算する。
単一段最適化において高品質なレンダリングを生成するため,我々はNeRF線に沿ったz座標の分散の正則化を提案する。
論文 参考訳(メタデータ) (2023-05-30T05:56:58Z) - TextMesh: Generation of Realistic 3D Meshes From Text Prompts [56.2832907275291]
リアルな3Dメッシュを生成するための新しい手法を提案する。
この目的のために、NeRFをSDFバックボーンに拡張し、3Dメッシュ抽出を改善した。
論文 参考訳(メタデータ) (2023-04-24T20:29:41Z) - TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。
表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
論文 参考訳(メタデータ) (2023-02-03T13:18:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。