論文の概要: Material Palette: Extraction of Materials from a Single Image

• arxiv url: http://arxiv.org/abs/2311.17060v1
• Date: Tue, 28 Nov 2023 18:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 17:02:19.351619
• Title: Material Palette: Extraction of Materials from a Single Image
• Title（参考訳）: 材料パレット : 単一画像からの材料抽出
• Authors: Ivan Lopes and Fabio Pizzati and Raoul de Charette
• Abstract要約: 実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。 画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。 第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
• 参考スコア（独自算出の注目度）: 19.410479434979493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a method to extract physically-based rendering (PBR) materials from a single real-world image. We do so in two steps: first, we map regions of the image to material concepts using a diffusion model, which allows the sampling of texture images resembling each material in the scene. Second, we benefit from a separate network to decompose the generated textures into Spatially Varying BRDFs (SVBRDFs), providing us with materials ready to be used in rendering applications. Our approach builds on existing synthetic material libraries with SVBRDF ground truth, but also exploits a diffusion-generated RGB texture dataset to allow generalization to new samples using unsupervised domain adaptation (UDA). Our contributions are thoroughly evaluated on synthetic and real-world datasets. We further demonstrate the applicability of our method for editing 3D scenes with materials estimated from real photographs. The code and models will be made open-source. Project page: https://astra-vision.github.io/MaterialPalette/
• Abstract（参考訳）: 本論文では,1つの実世界の画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。 まず、画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各素材に類似したテクスチャ画像のサンプリングを可能にする。 第2に、生成されたテクスチャを空間的に変化するbrdfs(svbrdfs)に分解する独立したネットワークの恩恵を受け、レンダリングに使用可能な材料を提供します。 提案手法はsvbrdfグラウンド真理を持つ既存の合成材料ライブラリを基盤としているが、拡散生成rgbテクスチャデータセットを利用して非教師なしドメイン適応(uda)を用いた新しいサンプルへの一般化を可能にする。 我々の貢献は、合成および実世界のデータセットで徹底的に評価されている。 さらに,実写真から推定した資料を用いて3次元シーンを編集する手法の適用性を示す。 コードとモデルはオープンソースになる予定だ。 プロジェクトページ:https://astra-vision.github.io/MaterialPalette/

関連論文リスト

• TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
  我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。 テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-11-22T05:22:11Z)
• MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors [67.74705555889336]
  本稿では,テクスチャと材料特性に先立って2Dを組み込んだ,従来の3次元逆レンダリングパイプラインであるMaterialFusionを紹介する。 本稿では,2次元拡散モデルであるStableMaterialについて述べる。 種々の照明条件下で, 合成および実物体の4つのデータセット上でのMaterialFusionの照度特性を検証した。
  論文  参考訳（メタデータ） (2024-09-23T17:59:06Z)
• Vastextures: Vast repository of textures and PBR materials extracted from real-world images using unsupervised methods [0.6993026261767287]
  Vastexturesは50,000のテクスチャとPBR素材のリポジトリで、教師なしのプロセスを用いて現実世界の画像から抽出される。 天然画像から採取した2次元テクスチャと、これらのテクスチャから生成されたSVBRDF/PBR材料からなる。
  論文  参考訳（メタデータ） (2024-06-24T21:36:01Z)
• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
  本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。 テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。 我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-26T17:54:38Z)
• MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
  本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。 このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
  論文  参考訳（メタデータ） (2024-04-22T07:00:17Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• One-shot recognition of any material anywhere using contrastive learning with physics-based rendering [0.0]
  材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。 食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
  論文  参考訳（メタデータ） (2022-12-01T16:49:53Z)
• Deep scene-scale material estimation from multi-view indoor captures [9.232860902853048]
  本稿では,物理的なレンダリングが可能なデジタルアセットを自動生成する学習ベースのアプローチを提案する。 提案手法は, 最寄りの解に比べて少ない時間で近似材料マップを生成する。
  論文  参考訳（メタデータ） (2022-11-15T10:58:28Z)
• MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
  本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。 逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。 携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
  論文  参考訳（メタデータ） (2020-09-30T21:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。