論文の概要: Material Palette: Extraction of Materials from a Single Image

• arxiv url: http://arxiv.org/abs/2311.17060v1
• Date: Tue, 28 Nov 2023 18:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 17:02:19.351619
• Title: Material Palette: Extraction of Materials from a Single Image
• Title（参考訳）: 材料パレット : 単一画像からの材料抽出
• Authors: Ivan Lopes and Fabio Pizzati and Raoul de Charette
• Abstract要約: 実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。 画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。 第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
• 参考スコア（独自算出の注目度）: 19.410479434979493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a method to extract physically-based rendering (PBR) materials from a single real-world image. We do so in two steps: first, we map regions of the image to material concepts using a diffusion model, which allows the sampling of texture images resembling each material in the scene. Second, we benefit from a separate network to decompose the generated textures into Spatially Varying BRDFs (SVBRDFs), providing us with materials ready to be used in rendering applications. Our approach builds on existing synthetic material libraries with SVBRDF ground truth, but also exploits a diffusion-generated RGB texture dataset to allow generalization to new samples using unsupervised domain adaptation (UDA). Our contributions are thoroughly evaluated on synthetic and real-world datasets. We further demonstrate the applicability of our method for editing 3D scenes with materials estimated from real photographs. The code and models will be made open-source. Project page: https://astra-vision.github.io/MaterialPalette/
• Abstract（参考訳）: 本論文では,1つの実世界の画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。 まず、画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各素材に類似したテクスチャ画像のサンプリングを可能にする。 第2に、生成されたテクスチャを空間的に変化するbrdfs(svbrdfs)に分解する独立したネットワークの恩恵を受け、レンダリングに使用可能な材料を提供します。 提案手法はsvbrdfグラウンド真理を持つ既存の合成材料ライブラリを基盤としているが、拡散生成rgbテクスチャデータセットを利用して非教師なしドメイン適応(uda)を用いた新しいサンプルへの一般化を可能にする。 我々の貢献は、合成および実世界のデータセットで徹底的に評価されている。 さらに,実写真から推定した資料を用いて3次元シーンを編集する手法の適用性を示す。 コードとモデルはオープンソースになる予定だ。 プロジェクトページ:https://astra-vision.github.io/MaterialPalette/

関連論文リスト

• MatSwap: Light-aware material transfers in images [18.37330769828654]
  MatSwap(マットスワップ)は、画像内の指定された表面に物質を移す方法である。 我々は、露光紫外線マッピングを必要とせずに、入力材料とシーン内の外観の関係を学習する。 本手法では,シーンの同一性を保ちながら,所望の素材を写真中のターゲット位置にシームレスに統合する。
  論文  参考訳（メタデータ） (2025-02-11T18:59:59Z)
• Materialist: Physically Based Editing Using Single-Image Inverse Rendering [50.39048790589746]
  本稿では、学習に基づくアプローチとプログレッシブな微分可能レンダリングを組み合わせた手法を提案する。 提案手法は,より現実的な光物質相互作用,正確な影,大域的な照明を実現する。 また,全シーン形状を必要とせず,効果的に機能する材料透過性編集手法を提案する。
  論文  参考訳（メタデータ） (2025-01-07T11:52:01Z)
• TexGaussian: Generating High-quality PBR Material via Octree-based 3D Gaussian Splatting [48.97819552366636]
  本稿では, 八面体配向型3次元ガウス平板を用いた高速PBR材料生成のためのTexGaussianを提案する。 本手法は,PBR素材をより視覚的に合成し,非条件シナリオとテキスト条件シナリオの両方において,従来の方法よりも高速に動作させる。
  論文  参考訳（メタデータ） (2024-11-29T12:19:39Z)
• MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors [67.74705555889336]
  本稿では,テクスチャと材料特性に先立って2Dを組み込んだ,従来の3次元逆レンダリングパイプラインであるMaterialFusionを紹介する。 本稿では,2次元拡散モデルであるStableMaterialについて述べる。 種々の照明条件下で, 合成および実物体の4つのデータセット上でのMaterialFusionの照度特性を検証した。
  論文  参考訳（メタデータ） (2024-09-23T17:59:06Z)
• Vastextures: Vast repository of textures and PBR materials extracted from real-world images using unsupervised methods [0.6993026261767287]
  Vastexturesは50,000のテクスチャとPBR素材のリポジトリで、教師なしのプロセスを用いて現実世界の画像から抽出される。 天然画像から採取した2次元テクスチャと、これらのテクスチャから生成されたSVBRDF/PBR材料からなる。
  論文  参考訳（メタデータ） (2024-06-24T21:36:01Z)
• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
  本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。 テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。 我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-26T17:54:38Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• One-shot recognition of any material anywhere using contrastive learning with physics-based rendering [0.0]
  材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。 食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
  論文  参考訳（メタデータ） (2022-12-01T16:49:53Z)
• MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
  本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。 逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。 携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
  論文  参考訳（メタデータ） (2020-09-30T21:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。