論文の概要: TwinTex: Geometry-aware Texture Generation for Abstracted 3D Architectural Models

• arxiv url: http://arxiv.org/abs/2309.11258v1
• Date: Wed, 20 Sep 2023 12:33:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 16:21:59.910969
• Title: TwinTex: Geometry-aware Texture Generation for Abstracted 3D Architectural Models
• Title（参考訳）: twintex:3次元抽象モデルのための形状認識テクスチャ生成
• Authors: Weidan Xiong, Hongqian Zhang, Botao Peng, Ziyu Hu, Yongli Wu, Jianwei Guo, Hui Huang
• Abstract要約: 我々はTwinTexについて紹介する。TwinTexは写真にリアルなテクスチャを生成する最初の自動テクスチャマッピングフレームワークである。 提案手法は, 高品質なテクスチャマッピング手法を超越し, より少ない労力で, 熟練した生産水準に達する。
• 参考スコア（独自算出の注目度）: 13.248386665044087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coarse architectural models are often generated at scales ranging from individual buildings to scenes for downstream applications such as Digital Twin City, Metaverse, LODs, etc. Such piece-wise planar models can be abstracted as twins from 3D dense reconstructions. However, these models typically lack realistic texture relative to the real building or scene, making them unsuitable for vivid display or direct reference. In this paper, we present TwinTex, the first automatic texture mapping framework to generate a photo-realistic texture for a piece-wise planar proxy. Our method addresses most challenges occurring in such twin texture generation. Specifically, for each primitive plane, we first select a small set of photos with greedy heuristics considering photometric quality, perspective quality and facade texture completeness. Then, different levels of line features (LoLs) are extracted from the set of selected photos to generate guidance for later steps. With LoLs, we employ optimization algorithms to align texture with geometry from local to global. Finally, we fine-tune a diffusion model with a multi-mask initialization component and a new dataset to inpaint the missing region. Experimental results on many buildings, indoor scenes and man-made objects of varying complexity demonstrate the generalization ability of our algorithm. Our approach surpasses state-of-the-art texture mapping methods in terms of high-fidelity quality and reaches a human-expert production level with much less effort. Project page: https://vcc.tech/research/2023/TwinTex.
• Abstract（参考訳）: 粗いアーキテクチャモデルは、個々の建物から、Digital Twin City、Metaverse、LODsなどの下流アプリケーションのためのシーンまで、スケールで生成されることが多い。 このような断片的な平面モデルは、3次元高密度再構成の双子として抽象化することができる。 しかし、これらのモデルは通常実際の建物やシーンと比較して現実的なテクスチャを欠いており、鮮明な表示や直接参照には適さない。 本稿では,スプリットワイズ平面プロキシのためのフォトリアルなテクスチャを生成する最初の自動テクスチャマッピングフレームワークであるtwintexを提案する。 本手法は,このような2つのテクスチャ生成において発生する課題に対処する。 具体的には,各原平面について,まず,測光品質,視点品質,ファサードテクスチャの完全性を考慮した,欲張りなヒューリスティックな写真群を選択する。 次に、選択した写真の集合から異なるレベルのライン特徴(LoL)を抽出し、後段のガイダンスを生成する。 LoLsでは,局所からグローバルまでのテクスチャとテクスチャを整合させる最適化アルゴリズムを採用している。 最後に,マルチマスク初期化コンポーネントと欠落領域を暗示する新しいデータセットで拡散モデルを微調整する。 多くの建物、屋内シーン、複雑な人工物体における実験結果は、アルゴリズムの一般化能力を示している。 提案手法は, 高品質なテクスチャマッピング手法を超越し, より少ない労力で, 熟練した生産水準に達する。 プロジェクトページ:https://vcc.tech/research/2023/TwinTex。

関連論文リスト

• TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
  我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。 テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-11-22T05:22:11Z)
• DreamPolish: Domain Score Distillation With Progressive Geometry Generation [66.94803919328815]
  本稿では,高精細な幾何学と高品質なテクスチャの創出に優れたテキスト・ツー・3D生成モデルであるDreamPolishを紹介する。 幾何構成フェーズでは, 合成過程の安定性を高めるために, 複数のニューラル表現を利用する。 テクスチャ生成フェーズでは、そのような領域に向けて神経表現を導くために、新しいスコア蒸留、すなわちドメインスコア蒸留(DSD)を導入する。
  論文  参考訳（メタデータ） (2024-11-03T15:15:01Z)
• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• GenesisTex: Adapting Image Denoising Diffusion to Texture Space [15.907134430301133]
  GenesisTexはテキスト記述から3次元幾何学のテクスチャを合成する新しい手法である。 我々は,各視点に対して潜在テクスチャマップを保持し,対応する視点の描画に予測ノイズを伴って更新する。 大域的整合性は、ノイズ予測ネットワーク内のスタイル整合性機構の統合によって達成される。
  論文  参考訳（メタデータ） (2024-03-26T15:15:15Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• Projective Urban Texturing [8.349665441428925]
  没入型都市環境における3次元都市メッシュのテクスチャ自動生成手法を提案する。 Projective Urban Texturing (PUT)は、実際のパノラマ画像から見えない都市メッシュへのテクスチャスタイルを再ターゲットする。 PUTは、未ペア画像からテクスチャへの変換用に設計されたニューラルアーキテクチャの、対照的で敵対的なトレーニングに依存している。
  論文  参考訳（メタデータ） (2022-01-25T14:56:52Z)
• Unsupervised High-Fidelity Facial Texture Generation and Reconstruction [20.447635896077454]
  本稿では,タスクとテクスチャの生成,高忠実度テクスチャの回復という新たな統合パイプラインを提案する。 テクスチャモデルでは,テクスチャマップのスキャンとは対照的に,自然画像から教師なしでテクスチャモデルを学習する。 正確な3DMMフィッティングを適用することで、モデル化したテクスチャを合成生成した背景画像にシームレスに統合することができる。
  論文  参考訳（メタデータ） (2021-10-10T10:59:04Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。