論文の概要: MaterialGAN: Reflectance Capture using a Generative SVBRDF Model
- arxiv url: http://arxiv.org/abs/2010.00114v1
- Date: Wed, 30 Sep 2020 21:33:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 00:02:19.375778
- Title: MaterialGAN: Reflectance Capture using a Generative SVBRDF Model
- Title(参考訳): MaterialGAN:生成SVBRDFモデルを用いた反射率キャプチャ
- Authors: Yu Guo, Cameron Smith, Milo\v{s} Ha\v{s}an, Kalyan Sunkavalli and
Shuang Zhao
- Abstract要約: 本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。
逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。
携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
- 参考スコア(独自算出の注目度): 33.578080406338266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of reconstructing spatially-varying BRDFs from a small
set of image measurements. This is a fundamentally under-constrained problem,
and previous work has relied on using various regularization priors or on
capturing many images to produce plausible results. In this work, we present
MaterialGAN, a deep generative convolutional network based on StyleGAN2,
trained to synthesize realistic SVBRDF parameter maps. We show that MaterialGAN
can be used as a powerful material prior in an inverse rendering framework: we
optimize in its latent representation to generate material maps that match the
appearance of the captured images when rendered. We demonstrate this framework
on the task of reconstructing SVBRDFs from images captured under flash
illumination using a hand-held mobile phone. Our method succeeds in producing
plausible material maps that accurately reproduce the target images, and
outperforms previous state-of-the-art material capture methods in evaluations
on both synthetic and real data. Furthermore, our GAN-based latent space allows
for high-level semantic material editing operations such as generating material
variations and material morphing.
- Abstract(参考訳): 画像の小さな集合から空間変化のあるBRDFを再構成する問題に対処する。
これは基本的に未熟な問題であり、以前の研究は様々な正規化前処理や多くの画像の撮影に頼り、妥当な結果を生み出してきた。
本稿では,現実的なSVBRDFパラメータマップを合成するために,StyleGAN2に基づく深層生成畳み込みネットワークであるMaterialGANを提案する。
逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。我々は,その潜在表現を最適化して,キャプチャ画像の外観にマッチする物質マップを生成する。
携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
提案手法は,対象画像を正確に再現する可塑性材料マップの作成に成功し,合成データと実データの両方の評価において,従来の最先端材料キャプチャー法より優れていた。
さらに,ganベースの潜在空間では,材料変動生成や材料形態形成といった高レベルな意味材料編集操作が可能となる。
関連論文リスト
- Material Palette: Extraction of Materials from a Single Image [19.410479434979493]
実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。
画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。
第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
論文 参考訳(メタデータ) (2023-11-28T18:59:58Z) - In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳(メタデータ) (2023-09-25T08:42:06Z) - TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using
Differentiable Rendering [54.35405028643051]
スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。
提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。
我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
論文 参考訳(メタデータ) (2023-03-27T10:07:52Z) - Diffuse Map Guiding Unsupervised Generative Adversarial Network for
SVBRDF Estimation [0.21756081703276003]
本稿では,GAN(Generative Adversarial Network)に基づく拡散マップ誘導材料推定手法を提案する。
本手法では,携帯電話で撮影した少数の画像のみを用いて,グローバルな特徴を持つ可塑性SVBRDFマップを予測できる。
論文 参考訳(メタデータ) (2022-05-24T10:32:27Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳(メタデータ) (2021-10-30T01:59:39Z) - Ground material classification and for UAV-based photogrammetric 3D data
A 2D-3D Hybrid Approach [1.3359609092684614]
近年,物理環境を表す3次元仮想データを作成するために,多くの領域でフォトグラム法が広く用いられている。
これらの最先端技術は、迅速な3D戦場再建、仮想訓練、シミュレーションを目的として、アメリカ陸軍と海軍の注意を引き付けている。
論文 参考訳(メタデータ) (2021-09-24T22:29:26Z) - Controllable Person Image Synthesis with Spatially-Adaptive Warped
Normalization [72.65828901909708]
制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。
本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。
本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
論文 参考訳(メタデータ) (2021-05-31T07:07:44Z) - Ensembling with Deep Generative Views [72.70801582346344]
生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。
そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。
StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
論文 参考訳(メタデータ) (2021-04-29T17:58:35Z) - Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。
ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。
合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
論文 参考訳(メタデータ) (2020-04-01T12:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。