論文の概要: TwinTex: Geometry-aware Texture Generation for Abstracted 3D
Architectural Models
- arxiv url: http://arxiv.org/abs/2309.11258v1
- Date: Wed, 20 Sep 2023 12:33:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 16:21:59.910969
- Title: TwinTex: Geometry-aware Texture Generation for Abstracted 3D
Architectural Models
- Title(参考訳): twintex:3次元抽象モデルのための形状認識テクスチャ生成
- Authors: Weidan Xiong, Hongqian Zhang, Botao Peng, Ziyu Hu, Yongli Wu, Jianwei
Guo, Hui Huang
- Abstract要約: 我々はTwinTexについて紹介する。TwinTexは写真にリアルなテクスチャを生成する最初の自動テクスチャマッピングフレームワークである。
提案手法は, 高品質なテクスチャマッピング手法を超越し, より少ない労力で, 熟練した生産水準に達する。
- 参考スコア(独自算出の注目度): 13.248386665044087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coarse architectural models are often generated at scales ranging from
individual buildings to scenes for downstream applications such as Digital Twin
City, Metaverse, LODs, etc. Such piece-wise planar models can be abstracted as
twins from 3D dense reconstructions. However, these models typically lack
realistic texture relative to the real building or scene, making them
unsuitable for vivid display or direct reference. In this paper, we present
TwinTex, the first automatic texture mapping framework to generate a
photo-realistic texture for a piece-wise planar proxy. Our method addresses
most challenges occurring in such twin texture generation. Specifically, for
each primitive plane, we first select a small set of photos with greedy
heuristics considering photometric quality, perspective quality and facade
texture completeness. Then, different levels of line features (LoLs) are
extracted from the set of selected photos to generate guidance for later steps.
With LoLs, we employ optimization algorithms to align texture with geometry
from local to global. Finally, we fine-tune a diffusion model with a multi-mask
initialization component and a new dataset to inpaint the missing region.
Experimental results on many buildings, indoor scenes and man-made objects of
varying complexity demonstrate the generalization ability of our algorithm. Our
approach surpasses state-of-the-art texture mapping methods in terms of
high-fidelity quality and reaches a human-expert production level with much
less effort. Project page: https://vcc.tech/research/2023/TwinTex.
- Abstract(参考訳): 粗いアーキテクチャモデルは、個々の建物から、Digital Twin City、Metaverse、LODsなどの下流アプリケーションのためのシーンまで、スケールで生成されることが多い。
このような断片的な平面モデルは、3次元高密度再構成の双子として抽象化することができる。
しかし、これらのモデルは通常実際の建物やシーンと比較して現実的なテクスチャを欠いており、鮮明な表示や直接参照には適さない。
本稿では,スプリットワイズ平面プロキシのためのフォトリアルなテクスチャを生成する最初の自動テクスチャマッピングフレームワークであるtwintexを提案する。
本手法は,このような2つのテクスチャ生成において発生する課題に対処する。
具体的には,各原平面について,まず,測光品質,視点品質,ファサードテクスチャの完全性を考慮した,欲張りなヒューリスティックな写真群を選択する。
次に、選択した写真の集合から異なるレベルのライン特徴(LoL)を抽出し、後段のガイダンスを生成する。
LoLsでは,局所からグローバルまでのテクスチャとテクスチャを整合させる最適化アルゴリズムを採用している。
最後に,マルチマスク初期化コンポーネントと欠落領域を暗示する新しいデータセットで拡散モデルを微調整する。
多くの建物、屋内シーン、複雑な人工物体における実験結果は、アルゴリズムの一般化能力を示している。
提案手法は, 高品質なテクスチャマッピング手法を超越し, より少ない労力で, 熟練した生産水準に達する。
プロジェクトページ:https://vcc.tech/research/2023/TwinTex。
関連論文リスト
- TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion [64.49276500129092]
TextureDreamerは画像誘導型テクスチャ合成法である。
少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
論文 参考訳(メタデータ) (2024-01-17T18:55:49Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳(メタデータ) (2023-10-20T19:15:29Z) - TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using
Differentiable Rendering [54.35405028643051]
スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。
提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。
我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
論文 参考訳(メタデータ) (2023-03-27T10:07:52Z) - TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。
表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
論文 参考訳(メタデータ) (2023-02-03T13:18:45Z) - Projective Urban Texturing [8.349665441428925]
没入型都市環境における3次元都市メッシュのテクスチャ自動生成手法を提案する。
Projective Urban Texturing (PUT)は、実際のパノラマ画像から見えない都市メッシュへのテクスチャスタイルを再ターゲットする。
PUTは、未ペア画像からテクスチャへの変換用に設計されたニューラルアーキテクチャの、対照的で敵対的なトレーニングに依存している。
論文 参考訳(メタデータ) (2022-01-25T14:56:52Z) - Unsupervised High-Fidelity Facial Texture Generation and Reconstruction [20.447635896077454]
本稿では,タスクとテクスチャの生成,高忠実度テクスチャの回復という新たな統合パイプラインを提案する。
テクスチャモデルでは,テクスチャマップのスキャンとは対照的に,自然画像から教師なしでテクスチャモデルを学習する。
正確な3DMMフィッティングを適用することで、モデル化したテクスチャを合成生成した背景画像にシームレスに統合することができる。
論文 参考訳(メタデータ) (2021-10-10T10:59:04Z) - Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face
Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。
3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文 参考訳(メタデータ) (2021-05-16T16:35:44Z) - OSTeC: One-Shot Texture Completion [86.23018402732748]
ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。
提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。
完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
論文 参考訳(メタデータ) (2020-12-30T23:53:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。