論文の概要: MatFuse: Controllable Material Generation with Diffusion Models
- arxiv url: http://arxiv.org/abs/2308.11408v2
- Date: Sat, 18 Nov 2023 17:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 18:22:07.578255
- Title: MatFuse: Controllable Material Generation with Diffusion Models
- Title（参考訳）: MatFuse:拡散モデルによる制御可能な材料生成
- Authors: Giuseppe Vecchio, Renato Sortino, Simone Palazzo, Concetto Spampinato
- Abstract要約: MatFuseは、SVBRDFマップの作成を簡単にするために拡散モデルの生成力を利用する統一的なアプローチである。
我々のパイプラインは、カラーパレット、スケッチ、テキスト、画像を含む複数の条件付け源を統合し、材料合成におけるきめ細かい制御と柔軟性を実現する。
- 参考スコア（独自算出の注目度）: 10.993516790237503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Creating high-quality materials in computer graphics is a challenging and
time-consuming task, which requires great expertise. To simply this process, we
introduce MatFuse, a unified approach that harnesses the generative power of
diffusion models to simplify the creation of SVBRDF maps. Our pipeline
integrates multiple sources of conditioning, including color palettes,
sketches, text, and pictures, for a fine-grained control and flexibility in
material synthesis. This design enables the combination of diverse information
sources (e.g., sketch + text), enhancing creative possibilities in line with
the principle of compositionality. Additionally, we propose a multi-encoder
compression model with a two-fold purpose: it improves reconstruction
performance by learning a separate latent representation for each map and
enables a map-level material editing capabilities. We demonstrate the
effectiveness of MatFuse under multiple conditioning settings and explore the
potential of material editing. We also quantitatively assess the quality of the
generated materials in terms of CLIP-IQA and FID scores. \\ Source code for
training MatFuse will be made publically available at
https://gvecchio.com/matfuse.
- Abstract（参考訳）: コンピュータグラフィックスで高品質な素材を作ることは困難で時間を要する作業であり、優れた専門知識を必要とする。
この過程を単純にするために、拡散モデルの生成力を利用してsvbrdfマップを作成する統一的なアプローチであるmatfuseを紹介する。
我々のパイプラインは、カラーパレット、スケッチ、テキスト、画像を含む複数の条件付け源を統合し、材料合成におけるきめ細かい制御と柔軟性を実現する。
このデザインは多様な情報ソース(スケッチ+テキストなど)の組み合わせを可能にし、構成性の原則に従って創造性を高める。
さらに,2つの目的を持つマルチエンコーダ圧縮モデルを提案し,各マップに対して別個の潜在表現を学習することで再構成性能を向上し,マップレベルの素材編集機能を実現する。
複数の条件設定下でのMatFuseの有効性を実証し,材料編集の可能性を探る。
また,CLIP-IQAおよびFIDスコアを用いて,生成材料の品質を定量的に評価した。
MatFuseのトレーニング用ソースコードはhttps://gvecchio.com/matfuse.comで公開されている。
関連論文リスト
- MaterialFusion: High-Quality, Zero-Shot, and Controllable Material Transfer with Diffusion Models [1.7749342709605145]
本稿では,高品質な物質移動のための新しいフレームワークであるMaterialFusionを紹介する。
ユーザーは、新しい材料特性とオブジェクトの本来の特徴の最適なバランスを保ちながら、材料応用の度合いを調整できる。
論文 参考訳（メタデータ） (2025-02-10T16:04:33Z) - MatCLIP: Light- and Shape-Insensitive Assignment of PBR Material Models [42.42328559042189]
MatCLIPは、PBR材料の形状や光に敏感な記述子を抽出し、画像に基づいて可塑性テクスチャを3Dオブジェクトに割り当てる新しい手法である。
そこで本研究では,PBR表現の領域を写真や描画でブリッジする記述子を生成する。
MatCLIPの分類精度は76.6%で、PhotoShapeやMatAtlasのような最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2025-01-27T12:08:52Z) - IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。
従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。
IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
論文 参考訳（メタデータ） (2024-12-16T18:52:56Z) - MaterialPicker: Multi-Modal Material Generation with Diffusion Transformers [27.007661861644376]
本稿では,Diffusion Transformer (DiT) アーキテクチャを利用したマルチモーダル・マテリアル・ジェネレータを提案する。
本手法では, 被捕獲面が歪んだ場合でも, 試料の画像量に基づいて材料を生成することができる。
従来よりも多種多様な材料生成と歪み補正が可能であることを示す。
論文 参考訳（メタデータ） (2024-12-04T11:23:15Z) - MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors [67.74705555889336]
本稿では,テクスチャと材料特性に先立って2Dを組み込んだ,従来の3次元逆レンダリングパイプラインであるMaterialFusionを紹介する。
本稿では,2次元拡散モデルであるStableMaterialについて述べる。
種々の照明条件下で, 合成および実物体の4つのデータセット上でのMaterialFusionの照度特性を検証した。
論文 参考訳（メタデータ） (2024-09-23T17:59:06Z) - MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。
テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。
我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
論文 参考訳（メタデータ） (2024-04-26T17:54:38Z) - Make-it-Real: Unleashing Large Multimodal Model for Painting 3D Objects with Realistic Materials [108.59709545364395]
GPT-4Vは、材料を効果的に認識し、記述することができ、詳細な材料ライブラリを構築することができる。
そして、整合した材料を、新たなSVBRDF材料生成の基準として慎重に適用する。
Make-it-Realは、3Dコンテンツ作成ワークフローに合理化された統合を提供する。
論文 参考訳（メタデータ） (2024-04-25T17:59:58Z) - MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。
このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
論文 参考訳（メタデータ） (2024-04-22T07:00:17Z) - Alchemist: Parametric Control of Material Properties with Diffusion
Models [51.63031820280475]
本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。
我々は,NeRFの材料化へのモデルの適用の可能性を示す。
論文 参考訳（メタデータ） (2023-12-05T18:58:26Z) - Multimodal Learning for Materials [7.167520424757711]
材料の基礎モデルの自己教師型マルチモーダルトレーニングを可能にするマルチモーダル・ラーニング・フォー・マテリアル(MultiMat)を紹介した。
複数の軸上のMaterial Projectデータベースからのデータを用いてフレームワークの可能性を示す。
論文 参考訳（メタデータ） (2023-11-30T18:35:29Z) - One-shot recognition of any material anywhere using contrastive learning
with physics-based rendering [0.0]
材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。
食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
論文 参考訳（メタデータ） (2022-12-01T16:49:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。