論文の概要: PhotoMat: A Material Generator Learned from Single Flash Photos

• arxiv url: http://arxiv.org/abs/2305.12296v1
• Date: Sat, 20 May 2023 22:27:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 23:10:59.285726
• Title: PhotoMat: A Material Generator Learned from Single Flash Photos
• Title（参考訳）: PhotoMat:1枚のフラッシュ写真から学ぶ素材発電機
• Authors: Xilong Zhou, Milo\v{s} Ha\v{s}an, Valentin Deschaintre, Paul Guerrero, Yannick Hold-Geoffroy, Kalyan Sunkavalli, Nima Khademi Kalantar
• Abstract要約: 既存の材料生成モデルは、合成データにのみ訓練されている。 私たちは、携帯電話カメラとフラッシュで撮影したサンプルの実際の写真に特化して訓練された、最初の素材ジェネレータPhotoMatを提案する。 生成した材料は、従来の合成データで訓練された材料ジェネレータよりも視覚的品質がよいことを示す。
• 参考スコア（独自算出の注目度）: 31.791007315494852
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Authoring high-quality digital materials is key to realism in 3D rendering. Previous generative models for materials have been trained exclusively on synthetic data; such data is limited in availability and has a visual gap to real materials. We circumvent this limitation by proposing PhotoMat: the first material generator trained exclusively on real photos of material samples captured using a cell phone camera with flash. Supervision on individual material maps is not available in this setting. Instead, we train a generator for a neural material representation that is rendered with a learned relighting module to create arbitrarily lit RGB images; these are compared against real photos using a discriminator. We then train a material maps estimator to decode material reflectance properties from the neural material representation. We train PhotoMat with a new dataset of 12,000 material photos captured with handheld phone cameras under flash lighting. We demonstrate that our generated materials have better visual quality than previous material generators trained on synthetic data. Moreover, we can fit analytical material models to closely match these generated neural materials, thus allowing for further editing and use in 3D rendering.
• Abstract（参考訳）: 高品質なデジタル素材の制作は、3dレンダリングにおける現実主義の鍵である。 既存の材料生成モデルは、合成データにのみ訓練されており、それらのデータは可用性に制限されており、実際の材料に視覚的ギャップがある。 photomatは、携帯電話のカメラでフラッシュで撮影されたサンプルの実際の写真のみを訓練した最初の素材生成装置です。 個々の物質マップの監督はこの設定では利用できない。 代わりに、学習したリライトモジュールでレンダリングされたニューラルマテリアル表現のためのジェネレータをトレーニングして、任意に照らされたRGB画像を生成する。 次に、材料マップ推定器をトレーニングし、神経材料表現から材料反射特性を復号する。 フラッシュ照明下で携帯型カメラで撮影した1万2000枚の素材写真からphotomatをトレーニングした。 得られた材料は, 従来の合成データを用いた材料生成装置よりも優れた視覚品質を示す。 さらに,これらの生成した神経材料と密接に適合する解析材料モデルに適合させることにより,3次元レンダリングにおけるさらなる編集・使用を可能にした。

関連論文リスト

• MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors [67.74705555889336]
  本稿では,テクスチャと材料特性に先立って2Dを組み込んだ,従来の3次元逆レンダリングパイプラインであるMaterialFusionを紹介する。 本稿では,2次元拡散モデルであるStableMaterialについて述べる。 種々の照明条件下で, 合成および実物体の4つのデータセット上でのMaterialFusionの照度特性を検証した。
  論文  参考訳（メタデータ） (2024-09-23T17:59:06Z)
• OpenMaterial: A Comprehensive Dataset of Complex Materials for 3D Reconstruction [54.706361479680055]
  295個の異なる材料からなる1001個のオブジェクトからなるOpenMaterialデータセットを紹介した。 OpenMaterialは3D形状、マテリアルタイプ、カメラポーズ、深さ、オブジェクトマスクなど、包括的なアノテーションを提供する。 これは、多様で挑戦的な材料を持つオブジェクト上で、既存のアルゴリズムの定量的評価を可能にする最初の大規模データセットである。
  論文  参考訳（メタデータ） (2024-06-13T07:46:17Z)
• MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
  本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。 このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
  論文  参考訳（メタデータ） (2024-04-22T07:00:17Z)
• ZeST: Zero-Shot Material Transfer from a Single Image [59.714441587735614]
  ZeSTは、典型的な画像が与えられた入力画像中のオブジェクトにゼロショットの物質を転送する方法である。 異なる照明下で複数編集および頑健な材料割り当てを行うためのZeSTの適用例を示す。
  論文  参考訳（メタデータ） (2024-04-09T16:15:03Z)
• Alchemist: Parametric Control of Material Properties with Diffusion Models [51.63031820280475]
  本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。 我々は,NeRFの材料化へのモデルの適用の可能性を示す。
  論文  参考訳（メタデータ） (2023-12-05T18:58:26Z)
• Material Palette: Extraction of Materials from a Single Image [19.410479434979493]
  実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。 画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。 第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
  論文  参考訳（メタデータ） (2023-11-28T18:59:58Z)
• MATLABER: Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR [29.96046140529936]
  BRDF自動エンコーダ(textbfMATLABER)を用いたマテリアル・アウェア・テキスト・トゥ・3Dを提案する。 我々は,この自動エンコーダを大規模実世界のBRDFコレクションで訓練し,その潜在空間の滑らかさを確保する。 提案手法は, 現実的かつ一貫性のある物質を生成する上で, 既存の物質よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T03:40:38Z)
• One-shot recognition of any material anywhere using contrastive learning with physics-based rendering [0.0]
  材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。 食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
  論文  参考訳（メタデータ） (2022-12-01T16:49:53Z)
• Diffuse Map Guiding Unsupervised Generative Adversarial Network for SVBRDF Estimation [0.21756081703276003]
  本稿では,GAN(Generative Adversarial Network)に基づく拡散マップ誘導材料推定手法を提案する。 本手法では,携帯電話で撮影した少数の画像のみを用いて,グローバルな特徴を持つ可塑性SVBRDFマップを予測できる。
  論文  参考訳（メタデータ） (2022-05-24T10:32:27Z)
• MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
  本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。 逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。 携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
  論文  参考訳（メタデータ） (2020-09-30T21:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。