論文の概要: Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models

• arxiv url: http://arxiv.org/abs/2312.13913v2
• Date: Fri, 22 Dec 2023 06:27:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 17:36:20.069879
• Title: Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models
• Title（参考訳）: paint3d: ライティングレステクスチャ拡散モデルによる3dペイント
• Authors: Xianfang Zeng, Xin Chen, Zhongqi Qi, Wen Liu, Zibo Zhao, Zhibin Wang, Bin Fu, Yong Liu, Gang Yu
• Abstract要約: Paint3Dは、テキストや画像入力の非テクスチャな3Dメッシュに対して、高解像度で、ライトレスで、多様な2K UVテクスチャマップを生成する。
• 参考スコア（独自算出の注目度）: 34.715076045118444
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper presents Paint3D, a novel coarse-to-fine generative framework that is capable of producing high-resolution, lighting-less, and diverse 2K UV texture maps for untextured 3D meshes conditioned on text or image inputs. The key challenge addressed is generating high-quality textures without embedded illumination information, which allows the textures to be re-lighted or re-edited within modern graphics pipelines. To achieve this, our method first leverages a pre-trained depth-aware 2D diffusion model to generate view-conditional images and perform multi-view texture fusion, producing an initial coarse texture map. However, as 2D models cannot fully represent 3D shapes and disable lighting effects, the coarse texture map exhibits incomplete areas and illumination artifacts. To resolve this, we train separate UV Inpainting and UVHD diffusion models specialized for the shape-aware refinement of incomplete areas and the removal of illumination artifacts. Through this coarse-to-fine process, Paint3D can produce high-quality 2K UV textures that maintain semantic consistency while being lighting-less, significantly advancing the state-of-the-art in texturing 3D objects.
• Abstract（参考訳）: 本研究では,テキストや画像の入力に条件付された非テクスチャ3Dメッシュに対して,高分解能,光レス,多彩な2KUVテクスチャマップを作成可能な,粗大かつ微細な生成フレームワークであるPaint3Dを提案する。 対処すべき重要な課題は、組み込み照明情報なしで高品質なテクスチャを生成することだ。 そこで本手法では,まず,事前学習した深度認識2次元拡散モデルを用いて視条件画像を生成し,マルチビューテクスチャ融合を行い,初期粗いテクスチャマップを生成する。 しかし, 2次元モデルでは3次元形状を完全に表現できず, 照明効果が損なわれるため, 粗いテクスチャマップは不完全領域と照明アーチファクトを呈する。 これを解決するために,不完全領域の形状認識と照明器具の除去に特化したUV塗装とUVHD拡散モデルを個別に訓練する。 この粗いプロセスを通じて、Paint3Dは3Dオブジェクトのテクスチャ化において、セマンティック一貫性を維持しながらセマンティック一貫性を維持する高品質な2KUVテクスチャを生成することができる。

関連論文リスト

• TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
  我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。 テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-11-22T05:22:11Z)
• MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D [63.9188712646076]
  テクスチャリングは3Dアセット生産であり、視覚的魅力と視覚的魅力を高める。 近年の進歩にもかかわらず、メソッドは、主に局所的な不連続のために、しばしばサブパー結果をもたらす。 本稿では,高解像度かつシームレスなマルチビュー一貫性を実現するMVPaintという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-04T17:59:39Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• Texture Generation on 3D Meshes with Point-UV Diffusion [86.69672057856243]
  本稿では, 粗い微細化パイプラインであるPoint-UV拡散モデルとUVマッピングを併用し, 高品質なテクスチャイメージをUV空間で生成する。 本手法は,任意の属のメッシュを処理し,多種多様で,幾何に適合し,高忠実度なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-21T06:20:54Z)
• Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion Prior [36.40582157854088]
  本研究では,1枚の画像のみから高忠実度3Dコンテンツを作成する問題について検討する。 我々は、よく訓練された2D拡散モデルからの事前知識を活用し、3D生成のための3D認識監視として機能する。 本手法は,汎用オブジェクトの単一画像から高品質な3D作成を実現するための最初の試みであり,テキスト・ツー・3D作成やテクスチャ編集などの様々な応用を可能にする。
  論文  参考訳（メタデータ） (2023-03-24T17:54:22Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。