論文の概要: RomanTex: Decoupling 3D-aware Rotary Positional Embedded Multi-Attention Network for Texture Synthesis
- arxiv url: http://arxiv.org/abs/2503.19011v1
- Date: Mon, 24 Mar 2025 17:56:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-26 16:55:48.044312
- Title: RomanTex: Decoupling 3D-aware Rotary Positional Embedded Multi-Attention Network for Texture Synthesis
- Title（参考訳）: RomanTex: テクスチャ合成のための3D対応ロータリー位置埋め込み型マルチアテンションネットワークの分離
- Authors: Yifei Feng, Mingxin Yang, Shuhui Yang, Sheng Zhang, Jiaao Yu, Zibo Zhao, Yuhong Liu, Jie Jiang, Chunchao Guo,
- Abstract要約: RomanTexはマルチビューベースのテクスチャ生成フレームワークで、マルチアテンションネットワークと基礎となる3D表現を統合している。
本手法はテクスチャの品質と整合性を実現する。
- 参考スコア（独自算出の注目度）: 10.350576861948952
- License:
- Abstract: Painting textures for existing geometries is a critical yet labor-intensive process in 3D asset generation. Recent advancements in text-to-image (T2I) models have led to significant progress in texture generation. Most existing research approaches this task by first generating images in 2D spaces using image diffusion models, followed by a texture baking process to achieve UV texture. However, these methods often struggle to produce high-quality textures due to inconsistencies among the generated multi-view images, resulting in seams and ghosting artifacts. In contrast, 3D-based texture synthesis methods aim to address these inconsistencies, but they often neglect 2D diffusion model priors, making them challenging to apply to real-world objects To overcome these limitations, we propose RomanTex, a multiview-based texture generation framework that integrates a multi-attention network with an underlying 3D representation, facilitated by our novel 3D-aware Rotary Positional Embedding. Additionally, we incorporate a decoupling characteristic in the multi-attention block to enhance the model's robustness in image-to-texture task, enabling semantically-correct back-view synthesis. Furthermore, we introduce a geometry-related Classifier-Free Guidance (CFG) mechanism to further improve the alignment with both geometries and images. Quantitative and qualitative evaluations, along with comprehensive user studies, demonstrate that our method achieves state-of-the-art results in texture quality and consistency.
- Abstract（参考訳）: 既存のジオメトリーの塗装テクスチャは、3Dアセット生成において重要なが、労働集約的なプロセスである。
近年のテクスチャ生成において,テクスチャ・ツー・イメージ(T2I)モデルの進歩が著しく進展している。
既存のほとんどの研究は、画像拡散モデルを用いて2次元空間の画像を最初に生成し、続いて紫外線テクスチャを実現するためのテクスチャ焼成プロセスによって、この課題にアプローチしている。
しかし、これらの手法は、生成されたマルチビュー画像の不整合により、高品質なテクスチャを作り出すのに苦労することが多く、その結果、シームやゴーストアーティファクトが生じる。
対照的に、3Dベースのテクスチャ合成手法は、これらの不整合に対処することを目的としているが、しばしば2D拡散モデルの先行を無視し、現実のオブジェクトに適用することが困難になる。
さらに、マルチアテンションブロックにデカップリング特性を組み込んで、画像からテクスチャタスクにおけるモデルのロバスト性を高め、意味論的に正確なバックビュー合成を可能にする。
さらに、幾何関係の分類自由誘導(CFG)機構を導入し、ジオメトリと画像のアライメントをさらに改善する。
定量的・定性的な評価と包括的ユーザスタディにより,本手法がテクスチャの質と整合性を実現することを示す。
関連論文リスト
- Pandora3D: A Comprehensive Framework for High-Quality 3D Shape and Texture Generation [56.862552362223425]
本稿では,多様な入力プロンプトから高品質な3次元形状とテクスチャを生成するための包括的枠組みを提案する。
フレームワークは3次元形状生成とテクスチャ生成で構成されている。
本報告では,フレームワークの改良と拡張に向けたシステムアーキテクチャ,実験結果,今後の方向性について述べる。
論文 参考訳（メタデータ） (2025-02-20T04:22:30Z) - InsTex: Indoor Scenes Stylized Texture Synthesis [81.12010726769768]
拡張現実(ARVR)アプリケーションでは、高品質なテクスチャが3Dシーンに不可欠である。
現在の手法は、長い処理時間と視覚的アーティファクトに悩まされている。
3Dシーンのための高品質なテクスチャを生成するために設計された2段階アーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-01-22T08:37:59Z) - GenesisTex2: Stable, Consistent and High-Quality Text-to-Texture Generation [35.04723374116026]
大規模テキスト・トゥ・イメージ(T2I)モデルは、テキスト・トゥ・イメージ(T2I)生成において驚くべき結果を示している。
これらのモデルを用いて3次元ジオメトリーのテクスチャを合成することは、2次元画像と3次元表面のテクスチャとの領域ギャップのために依然として困難である。
本稿では,事前学習した拡散モデルを活用する新しいテキスト・テクスチャ合成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-27T02:32:42Z) - VCD-Texture: Variance Alignment based 3D-2D Co-Denoising for Text-Guided Texturing [22.39760469467524]
本研究では,2次元拡散モデルと3次元拡散モデルの間のモーダルギャップに対処する分散テクスチャ合成を提案する。
我々は、競合する領域との詳細な関係を改善するために、塗装モジュールを提示する。
論文 参考訳（メタデータ） (2024-07-05T12:11:33Z) - Meta 3D TextureGen: Fast and Consistent Texture Generation for 3D Objects [54.80813150893719]
高品質なテクスチャを20秒未満で生成することを目的とした,2つのシーケンシャルネットワークで構成される新しいフィードフォワード方式であるMeta 3D TextureGenを紹介する。
提案手法は,2次元空間の3次元セマンティクスにテキスト・ツー・イメージ・モデルを適用し,それらを完全かつ高解像度なUVテクスチャマップに融合することにより,品質とスピードを向上する。
さらに、任意の比率で任意のテクスチャをアップスケーリングできるテクスチャ拡張ネットワークを導入し、4kピクセルの解像度テクスチャを生成します。
論文 参考訳（メタデータ） (2024-07-02T17:04:34Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳（メタデータ） (2023-10-20T19:15:29Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳（メタデータ） (2023-08-18T17:55:47Z) - TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。
表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
論文 参考訳（メタデータ） (2023-02-03T13:18:45Z) - Fine Detailed Texture Learning for 3D Meshes with Generative Models [33.42114674602613]
本稿では,多視点画像と単視点画像の両方から高品質なテクスチャ3Dモデルを再構成する手法を提案する。
第1段階では正確な幾何学を学ぶことに集中し、第2段階では、生成的対向ネットワークを用いてテクスチャを学ぶことに集中する。
本手法は従来の手法に比べて優れた3次元テクスチャモデルを実現することを実証する。
論文 参考訳（メタデータ） (2022-03-17T14:50:52Z) - Unsupervised High-Fidelity Facial Texture Generation and Reconstruction [20.447635896077454]
本稿では,タスクとテクスチャの生成,高忠実度テクスチャの回復という新たな統合パイプラインを提案する。
テクスチャモデルでは,テクスチャマップのスキャンとは対照的に,自然画像から教師なしでテクスチャモデルを学習する。
正確な3DMMフィッティングを適用することで、モデル化したテクスチャを合成生成した背景画像にシームレスに統合することができる。
論文 参考訳（メタデータ） (2021-10-10T10:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。