論文の概要: NeRF-Texture: Synthesizing Neural Radiance Field Textures
- arxiv url: http://arxiv.org/abs/2412.10004v1
- Date: Fri, 13 Dec 2024 09:41:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-16 15:01:56.375437
- Title: NeRF-Texture: Synthesizing Neural Radiance Field Textures
- Title（参考訳）: NeRFテクスチャ:ニューラルラジアンスフィールドテクスチャの合成
- Authors: Yi-Hua Huang, Yan-Pei Cao, Yu-Kun Lai, Ying Shan, Lin Gao,
- Abstract要約: 与えられた多視点画像からテクスチャを捕捉・合成するためのニューラルレージアンス場(NeRF)を用いた新しいテクスチャ合成法を提案する。
提案したNeRFテクスチャ表現では、微細な幾何学的詳細を持つシーンをメソ構造テクスチャと基盤形状に分割する。
我々は潜伏特徴のパッチマッチングによってNeRFベースのテクスチャを合成できる。
- 参考スコア（独自算出の注目度）: 77.24205024987414
- License:
- Abstract: Texture synthesis is a fundamental problem in computer graphics that would benefit various applications. Existing methods are effective in handling 2D image textures. In contrast, many real-world textures contain meso-structure in the 3D geometry space, such as grass, leaves, and fabrics, which cannot be effectively modeled using only 2D image textures. We propose a novel texture synthesis method with Neural Radiance Fields (NeRF) to capture and synthesize textures from given multi-view images. In the proposed NeRF texture representation, a scene with fine geometric details is disentangled into the meso-structure textures and the underlying base shape. This allows textures with meso-structure to be effectively learned as latent features situated on the base shape, which are fed into a NeRF decoder trained simultaneously to represent the rich view-dependent appearance. Using this implicit representation, we can synthesize NeRF-based textures through patch matching of latent features. However, inconsistencies between the metrics of the reconstructed content space and the latent feature space may compromise the synthesis quality. To enhance matching performance, we further regularize the distribution of latent features by incorporating a clustering constraint. In addition to generating NeRF textures over a planar domain, our method can also synthesize NeRF textures over curved surfaces, which are practically useful. Experimental results and evaluations demonstrate the effectiveness of our approach.
- Abstract（参考訳）: テクスチャ合成はコンピュータグラフィックスの基本的な問題であり、様々な用途に有用である。
既存の手法は2次元画像テクスチャの処理に有効である。
対照的に、現実世界のテクスチャの多くは、草、葉、布などの3次元幾何学空間におけるメソ構造を含んでおり、2次元画像テクスチャだけでは効果的にモデル化できない。
与えられた多視点画像からテクスチャを捕捉・合成するためのニューラルレージアンス場(NeRF)を用いた新しいテクスチャ合成法を提案する。
提案したNeRFテクスチャ表現では、微細な幾何学的詳細を持つシーンをメソ構造テクスチャと基盤形状に分割する。
これにより、メソ構造を持つテクスチャは、ベース形状上の潜在的特徴として効果的に学習され、リッチなビュー依存の外観を表現するために同時に訓練されたNeRFデコーダに供給される。
この暗黙的表現を用いることで、潜伏特徴のパッチマッチングによってNeRFベースのテクスチャを合成できる。
しかし、再構成されたコンテンツ空間と潜在特徴空間のメトリクスの不整合は、合成品質を損なう可能性がある。
マッチング性能を向上させるため,クラスタリング制約を組み込むことで潜在特徴の分布を規則化する。
平面領域上でのNeRFテクスチャの生成に加えて,曲面上でのNeRFテクスチャの合成にも有効である。
実験結果と評価結果から,本手法の有効性が示された。
関連論文リスト
- Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。
本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。
1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
論文 参考訳（メタデータ） (2024-05-13T21:53:09Z) - ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis [49.28239918969784]
テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
論文 参考訳（メタデータ） (2023-11-28T13:55:53Z) - Neural Texture Puppeteer: A Framework for Neural Geometry and Texture
Rendering of Articulated Shapes, Enabling Re-Identification at Interactive
Speed [2.8544822698499255]
我々はニューラルテクスチュア Puppeteer と呼ぶテクスチャ化された形状のためのニューラルレンダリングパイプラインを提案する。
テクスチャオートエンコーダは、この情報を利用して、テクスチャ化された画像をグローバルな潜在コードにエンコードする。
本手法は,データに制限がある絶滅危惧種に適用できる。
論文 参考訳（メタデータ） (2023-11-28T10:51:05Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳（メタデータ） (2023-10-20T19:15:29Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳（メタデータ） (2023-03-03T17:14:44Z) - StructNeRF: Neural Radiance Fields for Indoor Scenes with Structural
Hints [23.15914545835831]
StructNeRFは、スパース入力を持つ屋内シーンのための新しいビュー合成のソリューションである。
本手法は,外部データに付加的なトレーニングを加えることなく,NeRFの幾何とビュー合成性能を向上する。
論文 参考訳（メタデータ） (2022-09-12T14:33:27Z) - AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。
結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。
学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
論文 参考訳（メタデータ） (2022-04-06T21:39:24Z) - Deep Tiling: Texture Tile Synthesis Using a Deep Learning Approach [0.0]
多くの場合、テクスチャ画像は解像度が小さいため、大きな3dモデル表面を覆うことができない。
深層学習に基づくテクスチャ合成はそのような場合に非常に有効であることが証明されている。
堅牢な深層学習プロセスを用いて,実例に基づくテクスチャ合成の新たなアプローチを提案する。
論文 参考訳（メタデータ） (2021-03-14T18:17:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。