論文の概要: Material Palette: Extraction of Materials from a Single Image
- arxiv url: http://arxiv.org/abs/2311.17060v1
- Date: Tue, 28 Nov 2023 18:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 17:02:19.351619
- Title: Material Palette: Extraction of Materials from a Single Image
- Title(参考訳): 材料パレット : 単一画像からの材料抽出
- Authors: Ivan Lopes and Fabio Pizzati and Raoul de Charette
- Abstract要約: 実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。
画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。
第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
- 参考スコア(独自算出の注目度): 19.410479434979493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a method to extract physically-based rendering
(PBR) materials from a single real-world image. We do so in two steps: first,
we map regions of the image to material concepts using a diffusion model, which
allows the sampling of texture images resembling each material in the scene.
Second, we benefit from a separate network to decompose the generated textures
into Spatially Varying BRDFs (SVBRDFs), providing us with materials ready to be
used in rendering applications. Our approach builds on existing synthetic
material libraries with SVBRDF ground truth, but also exploits a
diffusion-generated RGB texture dataset to allow generalization to new samples
using unsupervised domain adaptation (UDA). Our contributions are thoroughly
evaluated on synthetic and real-world datasets. We further demonstrate the
applicability of our method for editing 3D scenes with materials estimated from
real photographs. The code and models will be made open-source. Project page:
https://astra-vision.github.io/MaterialPalette/
- Abstract(参考訳): 本論文では,1つの実世界の画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。
まず、画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各素材に類似したテクスチャ画像のサンプリングを可能にする。
第2に、生成されたテクスチャを空間的に変化するbrdfs(svbrdfs)に分解する独立したネットワークの恩恵を受け、レンダリングに使用可能な材料を提供します。
提案手法はsvbrdfグラウンド真理を持つ既存の合成材料ライブラリを基盤としているが、拡散生成rgbテクスチャデータセットを利用して非教師なしドメイン適応(uda)を用いた新しいサンプルへの一般化を可能にする。
我々の貢献は、合成および実世界のデータセットで徹底的に評価されている。
さらに,実写真から推定した資料を用いて3次元シーンを編集する手法の適用性を示す。
コードとモデルはオープンソースになる予定だ。
プロジェクトページ:https://astra-vision.github.io/MaterialPalette/
関連論文リスト
- TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion [64.49276500129092]
TextureDreamerは画像誘導型テクスチャ合成法である。
少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
論文 参考訳(メタデータ) (2024-01-17T18:55:49Z) - Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map
Optimization and Physically-Based Rendering [53.70434741500702]
Paint-itは3Dレンダリングのためのテキスト駆動の高忠実なテクスチャマップ合成法である。
Paint-itはScore-Distillation Sampling(SDS)を利用してテキスト記述からテクスチャマップを合成する
我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。
論文 参考訳(メタデータ) (2023-12-18T17:17:08Z) - ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis [49.28239918969784]
テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
論文 参考訳(メタデータ) (2023-11-28T13:55:53Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳(メタデータ) (2023-10-20T19:15:29Z) - Generating Parametric BRDFs from Natural Language Descriptions [1.1847636087764204]
記述的プロンプトから双方向反射分布関数を生成するモデルを開発した。
BRDFは、光と表面物質との相互作用を特徴付ける4次元の確率分布である。
我々のモデルは、教師なしスキームによってチューニングされる前に、まず半教師なしアプローチを用いて訓練される。
論文 参考訳(メタデータ) (2023-06-19T15:35:19Z) - One-shot recognition of any material anywhere using contrastive learning
with physics-based rendering [0.0]
材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。
食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
論文 参考訳(メタデータ) (2022-12-01T16:49:53Z) - Deep scene-scale material estimation from multi-view indoor captures [9.232860902853048]
本稿では,物理的なレンダリングが可能なデジタルアセットを自動生成する学習ベースのアプローチを提案する。
提案手法は, 最寄りの解に比べて少ない時間で近似材料マップを生成する。
論文 参考訳(メタデータ) (2022-11-15T10:58:28Z) - PhotoScene: Photorealistic Material and Lighting Transfer for Indoor
Scenes [84.66946637534089]
PhotoSceneは、シーンの入力画像を取得し、高品質な素材と同様の照明を備えたフォトリアリスティックデジタルツインを構築するフレームワークである。
プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。
ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構築について検討し, 高品質で完全に再現可能な3Dシーンを再現できることを実証した。
論文 参考訳(メタデータ) (2022-07-02T06:52:44Z) - Diffuse Map Guiding Unsupervised Generative Adversarial Network for
SVBRDF Estimation [0.21756081703276003]
本稿では,GAN(Generative Adversarial Network)に基づく拡散マップ誘導材料推定手法を提案する。
本手法では,携帯電話で撮影した少数の画像のみを用いて,グローバルな特徴を持つ可塑性SVBRDFマップを予測できる。
論文 参考訳(メタデータ) (2022-05-24T10:32:27Z) - AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。
結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。
学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
論文 参考訳(メタデータ) (2022-04-06T21:39:24Z) - MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。
逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。
携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
論文 参考訳(メタデータ) (2020-09-30T21:33:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。