論文の概要: Text-guided High-definition Consistency Texture Model

• arxiv url: http://arxiv.org/abs/2305.05901v1
• Date: Wed, 10 May 2023 05:09:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 14:17:22.314011
• Title: Text-guided High-definition Consistency Texture Model
• Title（参考訳）: テキスト誘導高感度テクスチャモデル
• Authors: Zhibin Tang, Tiantong He
• Abstract要約: 本稿では,3次元メッシュのテクスチャをテキストプロンプトに従って生成する手法として,HCTM(High-definition Consistency Texture Model)を提案する。 本研究では,事前学習した深度画像拡散モデルを利用して,テキストプロンプトと深度マップに基づいて単一視点結果を生成する。 提案手法は、3次元メッシュに対して高精細で一貫したテクスチャを生成する上で有望な結果を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the advent of depth-to-image diffusion models, text-guided generation, editing, and transfer of realistic textures are no longer difficult. However, due to the limitations of pre-trained diffusion models, they can only create low-resolution, inconsistent textures. To address this issue, we present the High-definition Consistency Texture Model (HCTM), a novel method that can generate high-definition and consistent textures for 3D meshes according to the text prompts. We achieve this by leveraging a pre-trained depth-to-image diffusion model to generate single viewpoint results based on the text prompt and a depth map. We fine-tune the diffusion model with Parameter-Efficient Fine-Tuning to quickly learn the style of the generated result, and apply the multi-diffusion strategy to produce high-resolution and consistent results from different viewpoints. Furthermore, we propose a strategy that prevents the appearance of noise on the textures caused by backpropagation. Our proposed approach has demonstrated promising results in generating high-definition and consistent textures for 3D meshes, as demonstrated through a series of experiments.
• Abstract（参考訳）: 奥行き拡散モデルの出現により、テキスト誘導生成、編集、現実的なテクスチャの伝達はもはや困難ではない。 しかし、事前訓練された拡散モデルの限界のため、低解像度で一貫性のないテクスチャしか生成できない。 そこで本稿では,テキストプロンプトに応じて3dメッシュに対して高精細で一貫性のあるテクスチャを生成する新しい手法であるhigh-definition consistency texture model(hctm)を提案する。 本研究では,事前学習した深度画像拡散モデルを利用して,テキストプロンプトと深度マップに基づいて単一視点結果を生成する。 パラメータ効率の良いファインチューニングで拡散モデルを微調整し、生成した結果のスタイルを迅速に学習し、マルチ拡散戦略を適用して、異なる視点から高分解能で一貫した結果を生成する。 さらに,バックプロパゲーションによるテクスチャにノイズが現れるのを防止する戦略を提案する。 提案手法は,3dメッシュに対して高精細で一貫性のあるテクスチャを生成するための有望な成果を,一連の実験で実証した。

関連論文リスト

• TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
  我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。 テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-11-22T05:22:11Z)
• RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models [3.714901836138171]
  メッシュに整合した一貫性とシームレスなテクスチャを生成するための頑健なテキスト・ツー・テクスチャ手法を提案する。 本手法では,SDXLや複数制御ネットなどの最先端2次元拡散モデルを用いて,構造的特徴を捉えるとともに,テクスチャの複雑な詳細を抽出する。
  論文  参考訳（メタデータ） (2024-09-30T06:29:50Z)
• GenesisTex2: Stable, Consistent and High-Quality Text-to-Texture Generation [35.04723374116026]
  大規模テキスト・トゥ・イメージ(T2I)モデルは、テキスト・トゥ・イメージ(T2I)生成において驚くべき結果を示している。 これらのモデルを用いて3次元ジオメトリーのテクスチャを合成することは、2次元画像と3次元表面のテクスチャとの領域ギャップのために依然として困難である。 本稿では,事前学習した拡散モデルを活用する新しいテキスト・テクスチャ合成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-27T02:32:42Z)
• TexGen: Text-Guided 3D Texture Generation with Multi-view Sampling and Resampling [37.67373829836975]
  テクスチャ生成のための新しい多視点サンプリングおよび再サンプリングフレームワークであるTexGenを提案する。 提案手法は,高精細度3次元オブジェクトに対して,高精細度で優れたテクスチャ品質を実現する。 また,テクスチャ生成技術は,テクスチャ編集にも適用可能である。
  論文  参考訳（メタデータ） (2024-08-02T14:24:40Z)
• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• Grounded Compositional and Diverse Text-to-3D with Pretrained Multi-View Diffusion Model [65.58911408026748]
  複雑な合成文のプロンプトを正確に追従できる3Dアセットを生成するために,グラウンドド・ドレーマーを提案する。 まず,テキスト・ツー・3Dパイプラインのボトルネックとして,テキスト誘導4視点画像の活用を提唱する。 次に,テキストアラインな4ビュー画像生成を促すための注意再焦点機構を導入する。
  論文  参考訳（メタデータ） (2024-04-28T04:05:10Z)
• EucliDreamer: Fast and High-Quality Texturing for 3D Models with Depth-Conditioned Stable Diffusion [5.158983929861116]
  EucliDreamerは、テキストとプロンプトが与えられた3次元モデルのテクスチャを生成するための、シンプルで効果的な方法である。 テクスチャは3次元表面上の暗黙の関数としてパラメータ化され、スコア蒸留サンプリング(SDS)プロセスと微分レンダリングで最適化される。
  論文  参考訳（メタデータ） (2024-04-16T04:44:16Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• PaintHuman: Towards High-fidelity Text-to-3D Human Texturing via Denoised Score Distillation [89.09455618184239]
  テキスト・ツー・3D世代における最近の進歩は画期的なものである。 そこで我々はPaintHumanというモデルを提案し,その課題を2つの側面から解決する。 奥行きマップを手引きとして,現実的なセマンティックなテクスチャの整合性を保証する。
  論文  参考訳（メタデータ） (2023-10-14T00:37:16Z)
• IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
  本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。 我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。 組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
  論文  参考訳（メタデータ） (2023-08-22T14:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。