論文の概要: Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering

• arxiv url: http://arxiv.org/abs/2312.11360v2
• Date: Tue, 7 May 2024 13:15:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 19:54:07.719260
• Title: Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering
• Title（参考訳）: Paint-it:Deep Convolutional Texture Map Optimizationと物理ベースレンダリングによるテキストからテクスチャへの合成
• Authors: Kim Youwang, Tae-Hyun Oh, Gerard Pons-Moll,
• Abstract要約: Paint-itは3Dレンダリングのためのテキスト駆動の高忠実なテクスチャマップ合成法である。 Paint-itはScore-Distillation Sampling(SDS)を利用してテキスト記述からテクスチャマップを合成する 我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。
• 参考スコア（独自算出の注目度）: 47.78392889256976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Paint-it, a text-driven high-fidelity texture map synthesis method for 3D meshes via neural re-parameterized texture optimization. Paint-it synthesizes texture maps from a text description by synthesis-through-optimization, exploiting the Score-Distillation Sampling (SDS). We observe that directly applying SDS yields undesirable texture quality due to its noisy gradients. We reveal the importance of texture parameterization when using SDS. Specifically, we propose Deep Convolutional Physically-Based Rendering (DC-PBR) parameterization, which re-parameterizes the physically-based rendering (PBR) texture maps with randomly initialized convolution-based neural kernels, instead of a standard pixel-based parameterization. We show that DC-PBR inherently schedules the optimization curriculum according to texture frequency and naturally filters out the noisy signals from SDS. In experiments, Paint-it obtains remarkable quality PBR texture maps within 15 min., given only a text description. We demonstrate the generalizability and practicality of Paint-it by synthesizing high-quality texture maps for large-scale mesh datasets and showing test-time applications such as relighting and material control using a popular graphics engine. Project page: https://kim-youwang.github.io/paint-it
• Abstract（参考訳）: 本研究では,ニューラルネットワークによる3次元メッシュのテクスチャマップ合成手法であるPaint-itを提案する。 Paint-itは、Score-Distillation Sampling (SDS)を利用して、テキスト記述からテクスチャマップを合成する。 我々は,SDSを直接適用すると,ノイズ勾配が原因で,望ましくないテクスチャ品質が得られることを観察した。 SDSを用いた場合のテクスチャパラメータ化の重要性を明らかにする。 具体的には,Dep Convolutional Physical-Based Rendering (DC-PBR)パラメータ化を提案し,PBRテクスチャマップを標準的なピクセルベースのパラメータ化ではなく,ランダムに初期化した畳み込みベースのニューラルネットワークで再パラメータ化する。 我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。 実験では、Paint-itはテキスト記述だけで15分以内で優れたPBRテクスチャマップを得る。 大規模メッシュデータセットに対して高品質なテクスチャマップを合成し、リライティングや一般的なグラフィックスエンジンを用いた材料制御などのテストタイム応用を示すことにより、ペイントイットの一般化性と実用性を実証する。 プロジェクトページ: https://kim-youwang.github.io/paint-it

関連論文リスト

• TexGen: Text-Guided 3D Texture Generation with Multi-view Sampling and Resampling [37.67373829836975]
  テクスチャ生成のための新しい多視点サンプリングおよび再サンプリングフレームワークであるTexGenを提案する。 提案手法は,高精細度3次元オブジェクトに対して,高精細度で優れたテクスチャ品質を実現する。 また,テクスチャ生成技術は,テクスチャ編集にも適用可能である。
  論文  参考訳（メタデータ） (2024-08-02T14:24:40Z)
• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• GenesisTex: Adapting Image Denoising Diffusion to Texture Space [15.907134430301133]
  GenesisTexはテキスト記述から3次元幾何学のテクスチャを合成する新しい手法である。 我々は,各視点に対して潜在テクスチャマップを保持し,対応する視点の描画に予測ノイズを伴って更新する。 大域的整合性は、ノイズ予測ネットワーク内のスタイル整合性機構の統合によって達成される。
  論文  参考訳（メタデータ） (2024-03-26T15:15:15Z)
• FlashTex: Fast Relightable Mesh Texturing with LightControlNet [105.4683880648901]
  ControlNetアーキテクチャに基づいた新しいテキスト・ツー・イメージモデルであるLightControlNetを紹介した。 本手法は, メッシュを任意の照明環境下で適切に切断し, レンダリングできるように, 結果として生じるテクスチャの材質/反射率を下げるためのものである。
  論文  参考訳（メタデータ） (2024-02-20T18:59:00Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors [49.03627933561738]
  SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。 SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
  論文  参考訳（メタデータ） (2023-11-28T22:49:57Z)
• ConTex-Human: Free-View Rendering of Human from a Single Image with Texture-Consistent Synthesis [49.28239918969784]
  テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。 また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-11-28T13:55:53Z)
• On Demand Solid Texture Synthesis Using Deep 3D Networks [3.1542695050861544]
  本稿では,ディープラーニングフレームワークに基づくオンデマンドテクスチャ合成のための新しいアプローチについて述べる。 任意の大きさの固形テクスチャのコヒーレント部分を合成するために、生成ネットワークを訓練する。 合成されたボリュームは、少なくとも最先端のパッチベースのアプローチと同等の視覚的結果が得られる。
  論文  参考訳（メタデータ） (2020-01-13T20:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。