論文の概要: TEXGen: a Generative Diffusion Model for Mesh Textures

• arxiv url: http://arxiv.org/abs/2411.14740v1
• Date: Fri, 22 Nov 2024 05:22:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:03:40.677058
• Title: TEXGen: a Generative Diffusion Model for Mesh Textures
• Title（参考訳）: TEXGen:メッシュテクスチャ生成拡散モデル
• Authors: Xin Yu, Ze Yuan, Yuan-Chen Guo, Ying-Tian Liu, JianHui Liu, Yangguang Li, Yan-Pei Cao, Ding Liang, Xiaojuan Qi,
• Abstract要約: 我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。 テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
• 参考スコア（独自算出の注目度）: 63.43159148394021
• License:
• Abstract: While high-quality texture maps are essential for realistic 3D asset rendering, few studies have explored learning directly in the texture space, especially on large-scale datasets. In this work, we depart from the conventional approach of relying on pre-trained 2D diffusion models for test-time optimization of 3D textures. Instead, we focus on the fundamental problem of learning in the UV texture space itself. For the first time, we train a large diffusion model capable of directly generating high-resolution texture maps in a feed-forward manner. To facilitate efficient learning in high-resolution UV spaces, we propose a scalable network architecture that interleaves convolutions on UV maps with attention layers on point clouds. Leveraging this architectural design, we train a 700 million parameter diffusion model that can generate UV texture maps guided by text prompts and single-view images. Once trained, our model naturally supports various extended applications, including text-guided texture inpainting, sparse-view texture completion, and text-driven texture synthesis. Project page is at http://cvmi-lab.github.io/TEXGen/.
• Abstract（参考訳）: 質の高いテクスチャマップは現実的な3Dアセットレンダリングに欠かせないが、テクスチャ空間、特に大規模データセットを直接学習する研究はほとんどない。 本研究では,3次元テクスチャのテスト時間最適化のために,事前学習した2次元拡散モデルに依存する従来のアプローチから脱却する。 代わりに、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 われわれは初めて,高解像度テクスチャマップをフィードフォワードで直接生成できる大規模な拡散モデルを訓練した。 高分解能UV空間における効率的な学習を容易にするために,点雲上の注意層を持つUVマップ上の畳み込みをインターリーブするスケーラブルネットワークアーキテクチャを提案する。 このアーキテクチャ設計を活用することで、テキストプロンプトとシングルビュー画像によってガイドされたUVテクスチャマップを生成することができる7億のパラメータ拡散モデルを訓練する。 トレーニング後,本モデルはテキスト誘導テクスチャインペイント,スパースビューテクスチャ補完,テキスト駆動テクスチャ合成など,様々な拡張アプリケーションをサポートする。 プロジェクトページはhttp://cvmi-lab.github.io/TEXGen/にある。

関連論文リスト

• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• UVMap-ID: A Controllable and Personalized UV Map Generative Model [67.71022515856653]
  制御可能でパーソナライズされたUVマップ生成モデルであるUVMap-IDを導入する。 従来の2次元の大規模学習法とは異なり,本研究では,事前学習したテキスト・画像拡散モデルの微調整を提案する。 定量的および定性的な解析は、制御可能でパーソナライズされたUVマップ生成における本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-04-22T20:30:45Z)
• TexDreamer: Towards Zero-Shot High-Fidelity 3D Human Texture Generation [41.959089177835764]
  TexDreamerは、最初のゼロショットマルチモーダル高忠実度3Dヒューマンテクスチャ生成モデルである。 ArTicuLated humAn textureSは,最大解像度(1024×1024)のヒトテクスチャデータセットである。
  論文  参考訳（メタデータ） (2024-03-19T17:02:07Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• Texture Generation on 3D Meshes with Point-UV Diffusion [86.69672057856243]
  本稿では, 粗い微細化パイプラインであるPoint-UV拡散モデルとUVマッピングを併用し, 高品質なテクスチャイメージをUV空間で生成する。 本手法は,任意の属のメッシュを処理し,多種多様で,幾何に適合し,高忠実度なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-21T06:20:54Z)
• TUVF: Learning Generalizable Texture UV Radiance Fields [32.417062841312976]
  本研究では,3次元形状に直接依存するのではなく,学習可能なUV空間内でテクスチャを生成するテクスチャUVF(Texture UV Radiance Fields)を提案する。 TUVFは、テクスチャを下層の形状から切り離し、同じUV空間を共有する他の形状に転送することを可能にする。 合成および実世界のオブジェクトデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-05-04T17:58:05Z)
• FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction [46.3392612457273]
  このデータセットには、5万以上の高品質なテクスチャUVマップが含まれており、照度、中性表現、クリーンな顔領域がある。 我々のパイプラインは、StyleGANベースの顔画像編集アプローチの最近の進歩を活用している。 実験により,本手法は最先端手法よりも再現精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-11-25T03:21:05Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。