論文の概要: MatFuse: Controllable Material Generation with Diffusion Models

• arxiv url: http://arxiv.org/abs/2308.11408v1
• Date: Tue, 22 Aug 2023 12:54:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 13:15:32.182917
• Title: MatFuse: Controllable Material Generation with Diffusion Models
• Title（参考訳）: MatFuse:拡散モデルによる制御可能な材料生成
• Authors: Giuseppe Vecchio, Renato Sortino, Simone Palazzo, Concetto Spampinato
• Abstract要約: MatFuseは、拡散モデル(DM)の生成力を利用してSVBRDFマップの作成を単純化する、新しい統一的なアプローチである。 我々のDMベースのパイプラインは、カラーパレット、スケッチ、画像などの複数の条件付け源を統合し、材料合成におけるきめ細かい制御と柔軟性を実現する。
• 参考スコア（独自算出の注目度）: 10.993516790237503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating high quality and realistic materials in computer graphics is a challenging and time-consuming task, which requires great expertise. In this paper, we present MatFuse, a novel unified approach that harnesses the generative power of diffusion models (DM) to simplify the creation of SVBRDF maps. Our DM-based pipeline integrates multiple sources of conditioning, such as color palettes, sketches, and pictures, enabling fine-grained control and flexibility in material synthesis. This design allows for the combination of diverse information sources (e.g., sketch + image embedding), enhancing creative possibilities in line with the principle of compositionality. We demonstrate the generative capabilities of the proposed method under various conditioning settings; on the SVBRDF estimation task, we show that our method yields performance comparable to state-of-the-art approaches, both qualitatively and quantitatively.
• Abstract（参考訳）: コンピュータグラフィックスで高品質でリアルな素材を作るのは困難で時間を要する作業であり、優れた専門知識を必要とする。 本稿では,svbrdfマップの作成を単純化するために,拡散モデルの生成力(dm)を利用する新しい統一的手法であるmatfuseを提案する。 我々のDMベースのパイプラインは、カラーパレット、スケッチ、画像などの複数の条件付け源を統合し、材料合成におけるきめ細かい制御と柔軟性を実現する。 この設計により、多様な情報ソース(スケッチ+画像埋め込みなど)を組み合わせることができ、構成性の原則に従って創造性を高めることができる。 本稿では,svbrdf推定タスクにおいて,提案手法が定性的かつ定量的に,最先端の手法に匹敵する性能をもたらすことを示す。

関連論文リスト

• From Tokens to Materials: Leveraging Language Models for Scientific Discovery [12.211984932142537]
  本研究では, 材料科学における材料特性予測のための言語モデル埋め込みの適用について検討した。 本研究では、ドメイン固有モデル、特にMatBERTが、複合名や材料特性から暗黙的な知識を抽出する際の汎用モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-21T16:31:23Z)
• MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors [67.74705555889336]
  本稿では,テクスチャと材料特性に先立って2Dを組み込んだ,従来の3次元逆レンダリングパイプラインであるMaterialFusionを紹介する。 本稿では,2次元拡散モデルであるStableMaterialについて述べる。 種々の照明条件下で, 合成および実物体の4つのデータセット上でのMaterialFusionの照度特性を検証した。
  論文  参考訳（メタデータ） (2024-09-23T17:59:06Z)
• MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
  本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。 テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。 我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-26T17:54:38Z)
• Make-it-Real: Unleashing Large Multimodal Model for Painting 3D Objects with Realistic Materials [108.59709545364395]
  GPT-4Vは、材料を効果的に認識し、記述することができ、詳細な材料ライブラリを構築することができる。 そして、整合した材料を、新たなSVBRDF材料生成の基準として慎重に適用する。 Make-it-Realは、3Dコンテンツ作成ワークフローに合理化された統合を提供する。
  論文  参考訳（メタデータ） (2024-04-25T17:59:58Z)
• MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
  本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。 このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
  論文  参考訳（メタデータ） (2024-04-22T07:00:17Z)
• Alchemist: Parametric Control of Material Properties with Diffusion Models [51.63031820280475]
  本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。 我々は,NeRFの材料化へのモデルの適用の可能性を示す。
  論文  参考訳（メタデータ） (2023-12-05T18:58:26Z)
• Multimodal Learning for Materials [7.167520424757711]
  材料の基礎モデルの自己教師型マルチモーダルトレーニングを可能にするマルチモーダル・ラーニング・フォー・マテリアル(MultiMat)を紹介した。 複数の軸上のMaterial Projectデータベースからのデータを用いてフレームワークの可能性を示す。
  論文  参考訳（メタデータ） (2023-11-30T18:35:29Z)
• One-shot recognition of any material anywhere using contrastive learning with physics-based rendering [0.0]
  材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。 食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
  論文  参考訳（メタデータ） (2022-12-01T16:49:53Z)
• MatSciBERT: A Materials Domain Language Model for Text Mining and Information Extraction [13.924666106089425]
  MatSciBERTは、材料領域で出版された科学文献の大規模なコーパスに基づいて訓練された言語モデルである。 MatSciBERTは,3つの下流タスク,すなわち抽象的分類,名前付きエンティティ認識,関係抽出において,SciBERTよりも優れていることを示す。 また,MatchSciBERTの材料領域における情報抽出への応用についても論じる。
  論文  参考訳（メタデータ） (2021-09-30T17:35:02Z)
• Deep Video Matting via Spatio-Temporal Alignment and Aggregation [63.6870051909004]
  新たな集計機能モジュール(STFAM)を用いた深層学習型ビデオマッチングフレームワークを提案する。 フレーム毎のトリマップアノテーションを排除するため、軽量なインタラクティブなトリマップ伝搬ネットワークも導入されている。 私達のフレームワークは従来のビデオ マットおよび深いイメージのマットの方法よりかなり優秀です。
  論文  参考訳（メタデータ） (2021-04-22T17:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。