論文の概要: FlashTex: Fast Relightable Mesh Texturing with LightControlNet

• arxiv url: http://arxiv.org/abs/2402.13251v3
• Date: Thu, 17 Oct 2024 15:45:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:16:43.760638
• Title: FlashTex: Fast Relightable Mesh Texturing with LightControlNet
• Title（参考訳）: FlashTex: LightControlNetによる高速なリライト可能なメッシュテクスチャ
• Authors: Kangle Deng, Timothy Omernick, Alexander Weiss, Deva Ramanan, Jun-Yan Zhu, Tinghui Zhou, Maneesh Agrawala,
• Abstract要約: ControlNetアーキテクチャに基づいた新しいテキスト・ツー・イメージモデルであるLightControlNetを紹介した。 本手法は, メッシュを任意の照明環境下で適切に切断し, レンダリングできるように, 結果として生じるテクスチャの材質/反射率を下げるためのものである。
• 参考スコア（独自算出の注目度）: 105.4683880648901
• License:
• Abstract: Manually creating textures for 3D meshes is time-consuming, even for expert visual content creators. We propose a fast approach for automatically texturing an input 3D mesh based on a user-provided text prompt. Importantly, our approach disentangles lighting from surface material/reflectance in the resulting texture so that the mesh can be properly relit and rendered in any lighting environment. We introduce LightControlNet, a new text-to-image model based on the ControlNet architecture, which allows the specification of the desired lighting as a conditioning image to the model. Our text-to-texture pipeline then constructs the texture in two stages. The first stage produces a sparse set of visually consistent reference views of the mesh using LightControlNet. The second stage applies a texture optimization based on Score Distillation Sampling (SDS) that works with LightControlNet to increase the texture quality while disentangling surface material from lighting. Our algorithm is significantly faster than previous text-to-texture methods, while producing high-quality and relightable textures.
• Abstract（参考訳）: 3Dメッシュ用のテクスチャを手作業で作成するのは時間を要する。 ユーザが提供するテキストプロンプトに基づいて,入力3Dメッシュを自動的にテキスト化するための高速なアプローチを提案する。 ここでは, メッシュを任意の照明環境下で適切に信頼・レンダリングできるように, 表面材/反射から光を分離する手法を提案する。 ControlNetアーキテクチャに基づいた新しいテキスト・ツー・イメージモデルであるLightControlNetを導入する。 テキスト・ツー・テクスチャ・パイプラインは、テクスチャを2段階で構築する。 最初のステージでは、LightControlNetを使用して、メッシュの視覚的に一貫した参照ビューのスパースセットを生成する。 第2段階では、光から表面物質を引き離しながらテクスチャ品質を向上させるために、LightControlNetと連携するスコア蒸留サンプリング(SDS)に基づくテクスチャ最適化を適用している。 我々のアルゴリズムは従来のテキストからテクスチャへの手法よりもはるかに高速であり、高品質で楽しいテクスチャを生成する。

関連論文リスト

• Meta 3D TextureGen: Fast and Consistent Texture Generation for 3D Objects [54.80813150893719]
  高品質なテクスチャを20秒未満で生成することを目的とした,2つのシーケンシャルネットワークで構成される新しいフィードフォワード方式であるMeta 3D TextureGenを紹介する。 提案手法は,2次元空間の3次元セマンティクスにテキスト・ツー・イメージ・モデルを適用し,それらを完全かつ高解像度なUVテクスチャマップに融合することにより,品質とスピードを向上する。 さらに、任意の比率で任意のテクスチャをアップスケーリングできるテクスチャ拡張ネットワークを導入し、4kピクセルの解像度テクスチャを生成します。
  論文  参考訳（メタデータ） (2024-07-02T17:04:34Z)
• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• EucliDreamer: Fast and High-Quality Texturing for 3D Models with Depth-Conditioned Stable Diffusion [5.158983929861116]
  EucliDreamerは、テキストとプロンプトが与えられた3次元モデルのテクスチャを生成するための、シンプルで効果的な方法である。 テクスチャは3次元表面上の暗黙の関数としてパラメータ化され、スコア蒸留サンプリング(SDS)プロセスと微分レンダリングで最適化される。
  論文  参考訳（メタデータ） (2024-04-16T04:44:16Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering [47.78392889256976]
  Paint-itは3Dレンダリングのためのテキスト駆動の高忠実なテクスチャマップ合成法である。 Paint-itはScore-Distillation Sampling(SDS)を利用してテキスト記述からテクスチャマップを合成する 我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。
  論文  参考訳（メタデータ） (2023-12-18T17:17:08Z)
• Consistent Mesh Diffusion [8.318075237885857]
  UVパラメータ化による3Dメッシュを前提として,テキストプロンプトからテクスチャを生成する新しいアプローチを提案する。 当社のアプローチは、30メッシュを含むデータセット上で、メッシュ毎に約5分を要することを実証しています。
  論文  参考訳（メタデータ） (2023-12-01T23:25:14Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。