論文の概要: PhotoMat: A Material Generator Learned from Single Flash Photos
- arxiv url: http://arxiv.org/abs/2305.12296v2
- Date: Tue, 23 May 2023 17:26:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 11:00:27.013385
- Title: PhotoMat: A Material Generator Learned from Single Flash Photos
- Title(参考訳): PhotoMat:1枚のフラッシュ写真から学ぶ素材発電機
- Authors: Xilong Zhou, Milo\v{s} Ha\v{s}an, Valentin Deschaintre, Paul Guerrero,
Yannick Hold-Geoffroy, Kalyan Sunkavalli, Nima Khademi Kalantari
- Abstract要約: 既存の材料生成モデルは、合成データにのみ訓練されている。
私たちは、携帯電話カメラとフラッシュで撮影したサンプルの実際の写真に特化して訓練された、最初の素材ジェネレータPhotoMatを提案する。
生成した材料は、従来の合成データで訓練された材料ジェネレータよりも視覚的品質がよいことを示す。
- 参考スコア(独自算出の注目度): 37.42765147463852
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Authoring high-quality digital materials is key to realism in 3D rendering.
Previous generative models for materials have been trained exclusively on
synthetic data; such data is limited in availability and has a visual gap to
real materials. We circumvent this limitation by proposing PhotoMat: the first
material generator trained exclusively on real photos of material samples
captured using a cell phone camera with flash. Supervision on individual
material maps is not available in this setting. Instead, we train a generator
for a neural material representation that is rendered with a learned relighting
module to create arbitrarily lit RGB images; these are compared against real
photos using a discriminator. We then train a material maps estimator to decode
material reflectance properties from the neural material representation. We
train PhotoMat with a new dataset of 12,000 material photos captured with
handheld phone cameras under flash lighting. We demonstrate that our generated
materials have better visual quality than previous material generators trained
on synthetic data. Moreover, we can fit analytical material models to closely
match these generated neural materials, thus allowing for further editing and
use in 3D rendering.
- Abstract(参考訳): 高品質なデジタル素材の制作は、3dレンダリングにおける現実主義の鍵である。
既存の材料生成モデルは、合成データにのみ訓練されており、それらのデータは可用性に制限されており、実際の材料に視覚的ギャップがある。
photomatは、携帯電話のカメラでフラッシュで撮影されたサンプルの実際の写真のみを訓練した最初の素材生成装置です。
個々の物質マップの監督はこの設定では利用できない。
代わりに、学習したリライトモジュールでレンダリングされたニューラルマテリアル表現のためのジェネレータをトレーニングして、任意に照らされたRGB画像を生成する。
次に、材料マップ推定器をトレーニングし、神経材料表現から材料反射特性を復号する。
フラッシュ照明下で携帯型カメラで撮影した1万2000枚の素材写真からphotomatをトレーニングした。
得られた材料は, 従来の合成データを用いた材料生成装置よりも優れた視覚品質を示す。
さらに,これらの生成した神経材料と密接に適合する解析材料モデルに適合させることにより,3次元レンダリングにおけるさらなる編集・使用を可能にした。
関連論文リスト
- Alchemist: Parametric Control of Material Properties with Diffusion
Models [51.63031820280475]
本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。
我々は,NeRFの材料化へのモデルの適用の可能性を示す。
論文 参考訳(メタデータ) (2023-12-05T18:58:26Z) - Material Palette: Extraction of Materials from a Single Image [19.410479434979493]
実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。
画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。
第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
論文 参考訳(メタデータ) (2023-11-28T18:59:58Z) - MATLABER: Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR [29.96046140529936]
BRDF自動エンコーダ(textbfMATLABER)を用いたマテリアル・アウェア・テキスト・トゥ・3Dを提案する。
我々は,この自動エンコーダを大規模実世界のBRDFコレクションで訓練し,その潜在空間の滑らかさを確保する。
提案手法は, 現実的かつ一貫性のある物質を生成する上で, 既存の物質よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-18T03:40:38Z) - BEDLAM: A Synthetic Dataset of Bodies Exhibiting Detailed Lifelike
Animated Motion [52.11972919802401]
合成データのみに基づいてトレーニングされたニューラルネットワークは、実際の画像から3次元人間のポーズと形状推定の問題に対して最先端の精度が得られることを示す。
以前の合成データセットは小さく、非現実的で、現実的な衣服が欠けていた。
論文 参考訳(メタデータ) (2023-06-29T13:35:16Z) - One-shot recognition of any material anywhere using contrastive learning
with physics-based rendering [0.0]
材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。
食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
論文 参考訳(メタデータ) (2022-12-01T16:49:53Z) - PhotoScene: Photorealistic Material and Lighting Transfer for Indoor
Scenes [84.66946637534089]
PhotoSceneは、シーンの入力画像を取得し、高品質な素材と同様の照明を備えたフォトリアリスティックデジタルツインを構築するフレームワークである。
プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。
ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構築について検討し, 高品質で完全に再現可能な3Dシーンを再現できることを実証した。
論文 参考訳(メタデータ) (2022-07-02T06:52:44Z) - SNeS: Learning Probably Symmetric Neural Surfaces from Incomplete Data [77.53134858717728]
我々はニューラルレイディアンスフィールド(NeRF)のようなニューラルリコンストラクションとレンダリングの最近の進歩の強みの上に構築する。
我々は3次元形状と材料特性にソフト対称性の制約を適用し,光,アルベド色,反射率に分解された外観を有する。
保存されていない領域を高い忠実度で再構成し、高品質な新しいビュー画像を作成することができることを示す。
論文 参考訳(メタデータ) (2022-06-13T17:37:50Z) - Diffuse Map Guiding Unsupervised Generative Adversarial Network for
SVBRDF Estimation [0.21756081703276003]
本稿では,GAN(Generative Adversarial Network)に基づく拡散マップ誘導材料推定手法を提案する。
本手法では,携帯電話で撮影した少数の画像のみを用いて,グローバルな特徴を持つ可塑性SVBRDFマップを予測できる。
論文 参考訳(メタデータ) (2022-05-24T10:32:27Z) - MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。
逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。
携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
論文 参考訳(メタデータ) (2020-09-30T21:33:00Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳(メタデータ) (2020-08-09T22:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。