論文の概要: MatFuse: Controllable Material Generation with Diffusion Models
- arxiv url: http://arxiv.org/abs/2308.11408v3
- Date: Wed, 13 Mar 2024 10:31:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 18:57:26.507465
- Title: MatFuse: Controllable Material Generation with Diffusion Models
- Title(参考訳): MatFuse:拡散モデルによる制御可能な材料生成
- Authors: Giuseppe Vecchio, Renato Sortino, Simone Palazzo, Concetto Spampinato
- Abstract要約: MatFuseは3D素材の作成と編集に拡散モデルの生成力を利用する統一的なアプローチである。
本手法は,カラーパレット,スケッチ,テキスト,画像など,複数のコンディショニング源を統合し,創造性を向上する。
複数の条件設定下でのMatFuseの有効性を実証し,材料編集の可能性を探る。
- 参考スコア(独自算出の注目度): 10.993516790237503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Creating high-quality materials in computer graphics is a challenging and
time-consuming task, which requires great expertise. To simplify this process,
we introduce MatFuse, a unified approach that harnesses the generative power of
diffusion models for creation and editing of 3D materials. Our method
integrates multiple sources of conditioning, including color palettes,
sketches, text, and pictures, enhancing creative possibilities and granting
fine-grained control over material synthesis. Additionally, MatFuse enables
map-level material editing capabilities through latent manipulation by means of
a multi-encoder compression model which learns a disentangled latent
representation for each map. We demonstrate the effectiveness of MatFuse under
multiple conditioning settings and explore the potential of material editing.
Finally, we assess the quality of the generated materials both quantitatively
in terms of CLIP-IQA and FID scores and qualitatively by conducting a user
study. Source code for training MatFuse and supplemental materials are publicly
available at https://gvecchio.com/matfuse.
- Abstract(参考訳): コンピュータグラフィックスで高品質な素材を作ることは困難で時間を要する作業であり、優れた専門知識を必要とする。
このプロセスを簡単にするために,3次元材料の作成と編集に拡散モデルの生成力を利用する統一的なアプローチであるMatFuseを紹介した。
提案手法は,カラーパレット,スケッチ,テキスト,画像など,複数のコンディショニング源を統合し,創造性を高め,材料合成のきめ細かい制御を可能にする。
さらに,マルチエンコーダ圧縮モデルを用いて,各マップの非絡み合った潜在表現を学習することで,潜時操作によるマップレベルのマテリアル編集機能を実現する。
複数の条件設定下でのMatFuseの有効性を実証し,材料編集の可能性を探る。
最後に,CLIP-IQAとFIDスコアの両点を定量的に評価し,ユーザスタディを実施して質的に評価する。
MatFuseと補足材料をトレーニングするためのソースコードはhttps://gvecchio.com/matfuse.comで公開されている。
関連論文リスト
- Alchemist: Parametric Control of Material Properties with Diffusion
Models [51.63031820280475]
本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。
我々は,NeRFの材料化へのモデルの適用の可能性を示す。
論文 参考訳(メタデータ) (2023-12-05T18:58:26Z) - Multimodal Learning for Crystalline Materials [8.915142640507794]
液晶材料のための多モード学習(MLCM)は,多モードアライメントによる結晶材料の基礎モデルをトレーニングするための新しい手法である。
MLCMは、挑戦的なMaterial Projectデータベース上での材料特性予測のための最先端性能を実現する。
私たちの研究は、進行中のAI革命のイノベーションを材料科学の領域に持ち込み、素材を次世代AIのテストベッドとして特定します。
論文 参考訳(メタデータ) (2023-11-30T18:35:29Z) - MatSciML: A Broad, Multi-Task Benchmark for Solid-State Materials
Modeling [7.142619575624596]
MatSci MLは機械学習(MatSci ML)法を用いたMATerials SCIenceをモデル化するためのベンチマークである。
MatSci MLは、モデルトレーニングと評価のための多様な材料システムとプロパティデータを提供する。
マルチデータセットの学習環境において、MatchSci MLは、研究者が複数のデータセットからの観測を組み合わせ、共通の特性を共同で予測することを可能にする。
論文 参考訳(メタデータ) (2023-09-12T03:08:37Z) - Rethinking Context Aggregation in Natural Image Matting [69.9111062345292]
我々は,コンテキストアグリゲーションモジュールが実際に期待したほど効果的ではないことを示す実験を行う。
また,大規模な画像パッチから学習すると,より広い受容領域を持つ基本エンコーダ・デコーダネットワークがコンテキストを効果的に集約し,より優れた性能を実現することを実証した。
本稿では,AEMatter という名前のシンプルなマッチングネットワークを提案する。このネットワークは,エンコーダに外見に富んだ軸方向の学習ブロックを組み込んで,ハイブリッドトランスフォーマーデコーダを採用することで,受容界を拡大する。
論文 参考訳(メタデータ) (2023-04-03T17:40:30Z) - One-shot recognition of any material anywhere using contrastive learning
with physics-based rendering [0.0]
材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。
食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
論文 参考訳(メタデータ) (2022-12-01T16:49:53Z) - What and How of Machine Learning Transparency: Building Bespoke
Explainability Tools with Interoperable Algorithmic Components [77.87794937143511]
本稿では,データ駆動予測モデルを説明するためのハンズオントレーニング教材について紹介する。
これらのリソースは、解釈可能な表現合成、データサンプリング、説明生成の3つのコアビルディングブロックをカバーする。
論文 参考訳(メタデータ) (2022-09-08T13:33:25Z) - MatSciBERT: A Materials Domain Language Model for Text Mining and
Information Extraction [13.924666106089425]
MatSciBERTは、材料領域で出版された科学文献の大規模なコーパスに基づいて訓練された言語モデルである。
MatSciBERTは,3つの下流タスク,すなわち抽象的分類,名前付きエンティティ認識,関係抽出において,SciBERTよりも優れていることを示す。
また,MatchSciBERTの材料領域における情報抽出への応用についても論じる。
論文 参考訳(メタデータ) (2021-09-30T17:35:02Z) - Attention-guided Temporal Coherent Video Object Matting [78.82835351423383]
本稿では,時間的コヒーレントなマッチング結果が得られる深層学習に基づくオブジェクトマッチング手法を提案する。
中心となるコンポーネントは、画像マッチングネットワークの強度を最大化するアテンションベースの時間アグリゲーションモジュールである。
本稿では,最先端のビデオオブジェクトセグメンテーションネットワークを微調整することで,トリマップ生成問題を効果的に解決する方法を示す。
論文 参考訳(メタデータ) (2021-05-24T17:34:57Z) - Deep Video Matting via Spatio-Temporal Alignment and Aggregation [63.6870051909004]
新たな集計機能モジュール(STFAM)を用いた深層学習型ビデオマッチングフレームワークを提案する。
フレーム毎のトリマップアノテーションを排除するため、軽量なインタラクティブなトリマップ伝搬ネットワークも導入されている。
私達のフレームワークは従来のビデオ マットおよび深いイメージのマットの方法よりかなり優秀です。
論文 参考訳(メタデータ) (2021-04-22T17:42:08Z) - Deep Image Compositing [93.75358242750752]
ユーザ入力なしで高品質の画像合成を自動生成する手法を提案する。
ラプラシアン・ピラミッド・ブレンディングにインスパイアされ、フォアグラウンドや背景画像からの情報を効果的に融合させるために、密結合型多ストリーム融合ネットワークが提案されている。
実験により,提案手法は高品質な合成物を自動生成し,定性的かつ定量的に既存手法より優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2020-11-04T06:12:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。