論文の概要: TileGen: Tileable, Controllable Material Generation and Capture
- arxiv url: http://arxiv.org/abs/2206.05649v1
- Date: Sun, 12 Jun 2022 03:32:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 17:00:07.763151
- Title: TileGen: Tileable, Controllable Material Generation and Capture
- Title（参考訳）: TileGen: テイルブルで制御可能な材料生成とキャプチャ
- Authors: Xilong Zhou, Milo\v{s} Ha\v{s}an, Valentin Deschaintre, Paul Guerrero,
Kalyan Sunkavalli and Nima Kalantari
- Abstract要約: TileGen は SVBRDF の生成モデルであり、材料カテゴリに特有であり、常にタイル状であり、入力構造パターンが提供される。
我々の逆レンダリング手法は、単一のターゲット写真に最適に一致する素材を見つけることができる。
得られた材料はタイル状であり、対象画像よりも大きくなり、条件を変更して編集可能である。
- 参考スコア（独自算出の注目度）: 26.442550001717233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent methods (e.g. MaterialGAN) have used unconditional GANs to generate
per-pixel material maps, or as a prior to reconstruct materials from input
photographs. These models can generate varied random material appearance, but
do not have any mechanism to constrain the generated material to a specific
category or to control the coarse structure of the generated material, such as
the exact brick layout on a brick wall. Furthermore, materials reconstructed
from a single input photo commonly have artifacts and are generally not
tileable, which limits their use in practical content creation pipelines. We
propose TileGen, a generative model for SVBRDFs that is specific to a material
category, always tileable, and optionally conditional on a provided input
structure pattern. TileGen is a variant of StyleGAN whose architecture is
modified to always produce tileable (periodic) material maps. In addition to
the standard "style" latent code, TileGen can optionally take a condition
image, giving a user direct control over the dominant spatial (and optionally
color) features of the material. For example, in brick materials, the user can
specify a brick layout and the brick color, or in leather materials, the
locations of wrinkles and folds. Our inverse rendering approach can find a
material perceptually matching a single target photograph by optimization. This
reconstruction can also be conditional on a user-provided pattern. The
resulting materials are tileable, can be larger than the target image, and are
editable by varying the condition.
- Abstract（参考訳）: 最近の方法(例:materialgan)では、無条件ganを使用してピクセル毎の材料マップを生成するか、あるいは入力された写真から材料を再構築する前の方法である。
これらのモデルは、様々なランダムな素材の外観を生成することができるが、生成した物質を特定のカテゴリに制限したり、レンガの壁の正確なレンガ配置のような生成された物質の粗い構造を制御するメカニズムを持たない。
さらに、単一の入力写真から再構成された材料は、一般的にアーティファクトを持ち、タイル状ではないため、実用的なコンテンツ生成パイプラインでの使用が制限される。
本稿では,svbrdfsの生成モデルであるtilegenを提案する。tilegenは材料カテゴリに特有で,常にタイル化可能で,入力構造パターン上で任意に条件付けされる。
TileGenはStyleGANの亜種であり、アーキテクチャは常にタイル状(周期的な)マテリアルマップを生成するように変更されている。
標準の"スタイル"潜在コードに加えて、tilegenはオプションで条件画像を取得でき、ユーザーが素材の支配的な空間的(そして任意の色の)特徴を直接制御できる。
例えば、レンガ材料では、レンガのレイアウトとレンガの色、革材料ではしわや折りたたみの場所を指定することができる。
我々の逆レンダリング手法は、単一のターゲット写真に最適に一致する素材を見つけることができる。
このリコンストラクションは、ユーザが提供するパターンでも条件付けできる。
得られた材料はタイル状であり、対象画像よりも大きくなり、条件を変更して編集可能である。
関連論文リスト
- TexPro: Text-guided PBR Texturing with Procedural Material Modeling [23.8905505397344]
TexProはテキストプロンプトを入力した3Dメッシュの高忠実度材料生成のための新しい手法である。
我々はまず,最新のテキスト・画像モデルを用いて入力されたテキスト・プロンプトからマルチビュー・リファレンス・イメージを生成する。
我々は最近の異なる手続き材料を用いたレンダリングに基づく最適化によりテクスチャマップを導出する。
論文 参考訳（メタデータ） (2024-10-21T11:10:07Z) - Content-aware Tile Generation using Exterior Boundary Inpainting [3.3090362820994526]
本稿では,タイル状画像集合を生成するための新しいフレキシブルな学習手法を提案する。
画像からパッチを明示的にコピーすることで、コンテンツから構造を分離する。
異なるタイリング方式におけるコンテンツ認識タイル生成手法の柔軟性と有効性を示す。
論文 参考訳（メタデータ） (2024-09-21T16:04:13Z) - MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。
テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。
我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
論文 参考訳（メタデータ） (2024-04-26T17:54:38Z) - Alchemist: Parametric Control of Material Properties with Diffusion
Models [51.63031820280475]
本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。
我々は,NeRFの材料化へのモデルの適用の可能性を示す。
論文 参考訳（メタデータ） (2023-12-05T18:58:26Z) - MatFuse: Controllable Material Generation with Diffusion Models [10.993516790237503]
MatFuseは3D素材の作成と編集に拡散モデルの生成力を利用する統一的なアプローチである。
本手法は,カラーパレット,スケッチ,テキスト,画像など,複数のコンディショニング源を統合し,創造性を向上する。
複数の条件設定下でのMatFuseの有効性を実証し,材料編集の可能性を探る。
論文 参考訳（メタデータ） (2023-08-22T12:54:48Z) - TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using
Differentiable Rendering [54.35405028643051]
スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。
提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。
我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
論文 参考訳（メタデータ） (2023-03-27T10:07:52Z) - Controllable Person Image Synthesis with Spatially-Adaptive Warped
Normalization [72.65828901909708]
制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。
本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。
本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
論文 参考訳（メタデータ） (2021-05-31T07:07:44Z) - Texture Generation with Neural Cellular Automata [64.70093734012121]
一つのテンプレート画像からテクスチャジェネレータを学習する。
NCAモデルで示される振る舞いは、テクスチャを生成するための学習された分散されたローカルアルゴリズムであると主張します。
論文 参考訳（メタデータ） (2021-05-15T22:05:46Z) - MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。
逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。
携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
論文 参考訳（メタデータ） (2020-09-30T21:33:00Z) - LayoutTransformer: Layout Generation and Completion with Self-attention [105.21138914859804]
画像やモバイルアプリケーション,ドキュメント,3Dオブジェクトなど,さまざまな領域におけるシーンレイアウト生成の問題に対処する。
レイアウト要素間のコンテキスト的関係を学習するために,自己意識を活用する新しいフレームワークであるLayoutTransformerを提案する。
私たちのフレームワークでは、空のセットから、あるいはプリミティブの最初のシードセットから、新しいレイアウトを生成することができ、レイアウト毎に任意のプリミティブをサポートするために簡単にスケールすることができます。
論文 参考訳（メタデータ） (2020-06-25T17:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。