論文の概要: TEXTure: Text-Guided Texturing of 3D Shapes

• arxiv url: http://arxiv.org/abs/2302.01721v1
• Date: Fri, 3 Feb 2023 13:18:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 16:18:28.432760
• Title: TEXTure: Text-Guided Texturing of 3D Shapes
• Title（参考訳）: TEXTure:テキストガイドによる3D形状のテクスチャ
• Authors: Elad Richardson, Gal Metzer, Yuval Alaluf, Raja Giryes, Daniel Cohen-Or
• Abstract要約: TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
• 参考スコア（独自算出の注目度）: 71.13116133846084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present TEXTure, a novel method for text-guided generation, editing, and transfer of textures for 3D shapes. Leveraging a pretrained depth-to-image diffusion model, TEXTure applies an iterative scheme that paints a 3D model from different viewpoints. Yet, while depth-to-image models can create plausible textures from a single viewpoint, the stochastic nature of the generation process can cause many inconsistencies when texturing an entire 3D object. To tackle these problems, we dynamically define a trimap partitioning of the rendered image into three progression states, and present a novel elaborated diffusion sampling process that uses this trimap representation to generate seamless textures from different views. We then show that one can transfer the generated texture maps to new 3D geometries without requiring explicit surface-to-surface mapping, as well as extract semantic textures from a set of images without requiring any explicit reconstruction. Finally, we show that TEXTure can be used to not only generate new textures but also edit and refine existing textures using either a text prompt or user-provided scribbles. We demonstrate that our TEXTuring method excels at generating, transferring, and editing textures through extensive evaluation, and further close the gap between 2D image generation and 3D texturing.
• Abstract（参考訳）: 本稿では,テクスチャのテクスチャ生成,編集,転送を行う新しい方法であるTEXTureを提案する。 TEXTureは、事前訓練された深度画像拡散モデルを利用して、異なる視点から3Dモデルを描く反復的スキームを適用する。 しかし、深度から画像へのモデルでは、1つの視点から妥当なテクスチャを作ることができるが、生成プロセスの確率的性質は、3dオブジェクト全体をテキスト化するときに多くの矛盾を引き起こす可能性がある。 これらの問題に対処するため、レンダリングされた画像のトリマップ分割を3つの進行状態に動的に定義し、このトリマップ表現を用いて異なるビューからシームレスなテクスチャを生成する新しい精巧な拡散サンプリングプロセスを提案する。 次に,生成したテクスチャマップを表面・表面マッピングを必要とせずに新しい3次元ジオメトリに転送し,画像の集合からセマンティックテクスチャを明示的な再構成を必要とせずに抽出できることを示す。 最後に、TEXTureは、新しいテクスチャを生成するだけでなく、テキストプロンプトやユーザが提供するスクリブルを使って既存のテクスチャを編集、洗練するためにも利用できることを示す。 我々は, テクスチャの生成, 転送, 編集を広範囲に評価し, さらに2次元画像生成と3次元テクスチャのギャップを埋めることにより, TEXTuring法が優れていることを示す。

関連論文リスト

• Meta 3D TextureGen: Fast and Consistent Texture Generation for 3D Objects [54.80813150893719]
  高品質なテクスチャを20秒未満で生成することを目的とした,2つのシーケンシャルネットワークで構成される新しいフィードフォワード方式であるMeta 3D TextureGenを紹介する。 提案手法は,2次元空間の3次元セマンティクスにテキスト・ツー・イメージ・モデルを適用し,それらを完全かつ高解像度なUVテクスチャマップに融合することにより,品質とスピードを向上する。 さらに、任意の比率で任意のテクスチャをアップスケーリングできるテクスチャ拡張ネットワークを導入し、4kピクセルの解像度テクスチャを生成します。
  論文  参考訳（メタデータ） (2024-07-02T17:04:34Z)
• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models [21.622420436349245]
  入力としてテキストプロンプトからルームスケールのテクスチャ化された3Dメッシュを生成する方法であるText2Roomを提案する。 我々は、事前訓練された2次元テキスト・画像モデルを利用して、異なるポーズから画像列を合成する。 これらの出力を一貫した3次元シーン表現に引き上げるために、単眼深度推定とテキスト条件のインペイントモデルを組み合わせる。
  論文  参考訳（メタデータ） (2023-03-21T16:21:02Z)
• Projective Urban Texturing [8.349665441428925]
  没入型都市環境における3次元都市メッシュのテクスチャ自動生成手法を提案する。 Projective Urban Texturing (PUT)は、実際のパノラマ画像から見えない都市メッシュへのテクスチャスタイルを再ターゲットする。 PUTは、未ペア画像からテクスチャへの変換用に設計されたニューラルアーキテクチャの、対照的で敵対的なトレーニングに依存している。
  論文  参考訳（メタデータ） (2022-01-25T14:56:52Z)
• NeuTex: Neural Texture Mapping for Volumetric Neural Rendering [48.83181790635772]
  本稿では,ジオメトリ-連続3次元ボリューム-出現-連続2次元テクスチャマップとして表現-を明示的に切り離す手法を提案する。 我々は,この表現を多視点画像監視のみを用いて再構成し,高品質なレンダリング結果を生成することを実証した。
  論文  参考訳（メタデータ） (2021-03-01T05:34:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。