論文の概要: Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map
Optimization and Physically-Based Rendering
- arxiv url: http://arxiv.org/abs/2312.11360v1
- Date: Mon, 18 Dec 2023 17:17:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 19:20:36.754439
- Title: Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map
Optimization and Physically-Based Rendering
- Title(参考訳): Paint-it:Deep Convolutional Texture Map最適化と物理ベースレンダリングによるテクスチャ間合成
- Authors: Kim Youwang, Tae-Hyun Oh, Gerard Pons-Moll
- Abstract要約: Paint-itは3Dレンダリングのためのテキスト駆動の高忠実なテクスチャマップ合成法である。
Paint-itはScore-Distillation Sampling(SDS)を利用してテキスト記述からテクスチャマップを合成する
我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。
- 参考スコア(独自算出の注目度): 53.70434741500702
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Paint-it, a text-driven high-fidelity texture map synthesis method
for 3D meshes via neural re-parameterized texture optimization. Paint-it
synthesizes texture maps from a text description by
synthesis-through-optimization, exploiting the Score-Distillation Sampling
(SDS). We observe that directly applying SDS yields undesirable texture quality
due to its noisy gradients. We reveal the importance of texture
parameterization when using SDS. Specifically, we propose Deep Convolutional
Physically-Based Rendering (DC-PBR) parameterization, which re-parameterizes
the physically-based rendering (PBR) texture maps with randomly initialized
convolution-based neural kernels, instead of a standard pixel-based
parameterization. We show that DC-PBR inherently schedules the optimization
curriculum according to texture frequency and naturally filters out the noisy
signals from SDS. In experiments, Paint-it obtains remarkable quality PBR
texture maps within 15 min., given only a text description. We demonstrate the
generalizability and practicality of Paint-it by synthesizing high-quality
texture maps for large-scale mesh datasets and showing test-time applications
such as relighting and material control using a popular graphics engine.
Project page: https://kim-youwang.github.io/paint-it
- Abstract(参考訳): 本研究では,ニューラルネットワークによる3次元メッシュのテクスチャマップ合成手法Paint-itを提案する。
paint-itはスコア蒸留サンプリング(sds)を利用してテキスト記述からテクスチャマップを合成する。
我々は,SDSを直接塗布すると,ノイズ勾配のため,望ましくない質感が得られることを観察した。
SDSを用いた場合のテクスチャパラメータ化の重要性を明らかにする。
具体的には,Dep Convolutional Physical-Based Rendering (DC-PBR)パラメータ化を提案し,PBRテクスチャマップを標準的なピクセルベースのパラメータ化ではなく,ランダムに初期化した畳み込みベースのニューラルネットワークで再パラメータ化する。
我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。
実験では、Paint-itはテキスト記述だけで15分以内で優れたPBRテクスチャマップを得る。
本研究では,大規模メッシュデータセットのための高品質なテクスチャマップを合成し,リライトやマテリアルコントロールなどのテストタイムアプリケーションを示すことで,ペイントイットの汎用性と実用性を示す。
プロジェクトページ: https://kim-youwang.github.io/paint-it
関連論文リスト
- FlashTex: Fast Relightable Mesh Texturing with LightControlNet [110.01093328160792]
本稿では,ユーザプロンプトテキストに基づく3Dメッシュの自動入力手法を提案する。
本研究は, 表面材料/反射率から光を引き離す方法に適用する。
私たちのパイプラインは、従来のテキストテクスチャメソッドよりもはるかに高速です。
論文 参考訳(メタデータ) (2024-02-20T18:59:00Z) - TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion [64.49276500129092]
TextureDreamerは画像誘導型テクスチャ合成法である。
少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
論文 参考訳(メタデータ) (2024-01-17T18:55:49Z) - SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion
Priors [49.03627933561738]
SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。
SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
論文 参考訳(メタデータ) (2023-11-28T22:49:57Z) - ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis [49.28239918969784]
テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
論文 参考訳(メタデータ) (2023-11-28T13:55:53Z) - Lightweight texture transfer based on texture feature preset [1.1863107884314108]
テクスチャ特徴プリセットに基づく軽量なテクスチャ転送を提案する。
結果は視覚的に優れた結果を示すが、モデルのサイズを3.2~3538倍に減らし、プロセスを1.8~5.6倍に高速化する。
論文 参考訳(メタデータ) (2023-06-29T10:37:29Z) - TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。
表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
論文 参考訳(メタデータ) (2023-02-03T13:18:45Z) - Deep Tiling: Texture Tile Synthesis Using a Deep Learning Approach [0.0]
多くの場合、テクスチャ画像は解像度が小さいため、大きな3dモデル表面を覆うことができない。
深層学習に基づくテクスチャ合成はそのような場合に非常に有効であることが証明されている。
堅牢な深層学習プロセスを用いて,実例に基づくテクスチャ合成の新たなアプローチを提案する。
論文 参考訳(メタデータ) (2021-03-14T18:17:37Z) - On Demand Solid Texture Synthesis Using Deep 3D Networks [3.1542695050861544]
本稿では,ディープラーニングフレームワークに基づくオンデマンドテクスチャ合成のための新しいアプローチについて述べる。
任意の大きさの固形テクスチャのコヒーレント部分を合成するために、生成ネットワークを訓練する。
合成されたボリュームは、少なくとも最先端のパッチベースのアプローチと同等の視覚的結果が得られる。
論文 参考訳(メタデータ) (2020-01-13T20:59:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。