論文の概要: On Demand Solid Texture Synthesis Using Deep 3D Networks
- arxiv url: http://arxiv.org/abs/2001.04528v1
- Date: Mon, 13 Jan 2020 20:59:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 00:08:34.863022
- Title: On Demand Solid Texture Synthesis Using Deep 3D Networks
- Title(参考訳): 深部3次元ネットワークを用いた需要固形集合組織合成
- Authors: Jorge Gutierrez, Julien Rabin, Bruno Galerne, Thomas Hurtut
- Abstract要約: 本稿では,ディープラーニングフレームワークに基づくオンデマンドテクスチャ合成のための新しいアプローチについて述べる。
任意の大きさの固形テクスチャのコヒーレント部分を合成するために、生成ネットワークを訓練する。
合成されたボリュームは、少なくとも最先端のパッチベースのアプローチと同等の視覚的結果が得られる。
- 参考スコア(独自算出の注目度): 3.1542695050861544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper describes a novel approach for on demand volumetric texture
synthesis based on a deep learning framework that allows for the generation of
high quality 3D data at interactive rates. Based on a few example images of
textures, a generative network is trained to synthesize coherent portions of
solid textures of arbitrary sizes that reproduce the visual characteristics of
the examples along some directions. To cope with memory limitations and
computation complexity that are inherent to both high resolution and 3D
processing on the GPU, only 2D textures referred to as "slices" are generated
during the training stage. These synthetic textures are compared to exemplar
images via a perceptual loss function based on a pre-trained deep network. The
proposed network is very light (less than 100k parameters), therefore it only
requires sustainable training (i.e. few hours) and is capable of very fast
generation (around a second for $256^3$ voxels) on a single GPU. Integrated
with a spatially seeded PRNG the proposed generator network directly returns an
RGB value given a set of 3D coordinates. The synthesized volumes have good
visual results that are at least equivalent to the state-of-the-art patch based
approaches. They are naturally seamlessly tileable and can be fully generated
in parallel.
- Abstract(参考訳): 本稿では,対話的なレートで高品質な3Dデータを生成可能なディープラーニングフレームワークに基づく,オンデマンドボリュームテクスチャ合成のための新しいアプローチについて述べる。
テクスチャのいくつかの例に基づいて、生成ネットワークは任意の大きさの固形テクスチャのコヒーレントな部分の合成を訓練し、ある方向に沿ってサンプルの視覚的特徴を再現する。
GPU上の高解像度と3D処理の両方に固有のメモリ制限と計算複雑性に対処するため、トレーニング段階では「スライス」と呼ばれる2Dテクスチャのみが生成される。
これらの合成テクスチャを、事前学習されたディープネットワークに基づく知覚損失関数を介して、例示画像と比較する。
提案するネットワークは非常に軽量で(100kパラメータを含まない)、持続的なトレーニング(数時間)しか必要とせず、単一のGPU上で非常に高速な生成(約256^3$ボクセル)が可能である。
空間的にシードされたPRNGと統合して、提案したジェネレータネットワークは、3D座標のセットが与えられたRGB値を直接返す。
合成ボリュームは、最先端のパッチベースアプローチと少なくとも同等の視覚的な結果が得られる。
自然にシームレスにタイル状になり、完全に並列に生成できる。
関連論文リスト
- Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering [47.78392889256976]
Paint-itは3Dレンダリングのためのテキスト駆動の高忠実なテクスチャマップ合成法である。
Paint-itはScore-Distillation Sampling(SDS)を利用してテキスト記述からテクスチャマップを合成する
我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。
論文 参考訳(メタデータ) (2023-12-18T17:17:08Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳(メタデータ) (2023-10-20T19:15:29Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。
画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。
フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
論文 参考訳(メタデータ) (2022-07-23T09:03:13Z) - AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。
結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。
学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
論文 参考訳(メタデータ) (2022-04-06T21:39:24Z) - Deep Tiling: Texture Tile Synthesis Using a Deep Learning Approach [0.0]
多くの場合、テクスチャ画像は解像度が小さいため、大きな3dモデル表面を覆うことができない。
深層学習に基づくテクスチャ合成はそのような場合に非常に有効であることが証明されている。
堅牢な深層学習プロセスを用いて,実例に基づくテクスチャ合成の新たなアプローチを提案する。
論文 参考訳(メタデータ) (2021-03-14T18:17:37Z) - STS-GAN: Can We Synthesize Solid Texture with High Fidelity from
Arbitrary 2D Exemplar? [20.58364192180389]
任意の3次元立体テクスチャに拡張するために,新たに生成した逆向きネットベースフレームワーク(STS-GAN)を提案する。
STS-GANにおいて、マルチスケール2次元テクスチャ識別器は、3次元テクスチャから得られた2次元の例とスライスとの類似性を評価し、現実的な立体テクスチャを合成する3次元テクスチャ生成装置を推進した。
論文 参考訳(メタデータ) (2021-02-08T02:51:34Z) - Novel-View Human Action Synthesis [39.72702883597454]
対象視点を合成する新しい3D推論を提案する。
まず,対象物体の3次元メッシュを推定し,粗いテクスチャを2次元画像からメッシュに転送する。
本研究では, 局地的, 地域的, グローバルなテクスチャを伝達することで, 半密度のテクスチャメッシュを創出する。
論文 参考訳(メタデータ) (2020-07-06T15:11:51Z) - Deep Geometric Texture Synthesis [83.9404865744028]
幾何学的テクスチャを合成するための新しい枠組みを提案する。
単一の参照3Dモデルの局所的な近傍からテクスチャ統計を学習する。
我々のネットワークはメッシュ頂点を任意の方向に変位させ、幾何学的テクスチャの合成を可能にする。
論文 参考訳(メタデータ) (2020-06-30T19:36:38Z) - GramGAN: Deep 3D Texture Synthesis From 2D Exemplars [7.553635339893189]
本稿では,2次元画像が与えられた無限の高品質な3次元テクスチャの生成を可能にする,新しいテクスチャ合成フレームワークを提案する。
自然テクスチャ合成の最近の進歩に触発されて、学習されたノイズ周波数を非線形に組み合わせてテクスチャを生成するために、ディープニューラルネットワークを訓練する。
そこで本研究では,スタイル転送と生成対向ネットワークの両方からアイデアを結合した新たな損失関数を提案する。
論文 参考訳(メタデータ) (2020-06-29T15:22:03Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳(メタデータ) (2020-06-29T12:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。