論文の概要: DreamMat: High-quality PBR Material Generation with Geometry- and Light-aware Diffusion Models
- arxiv url: http://arxiv.org/abs/2405.17176v1
- Date: Mon, 27 May 2024 13:55:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 15:13:09.282667
- Title: DreamMat: High-quality PBR Material Generation with Geometry- and Light-aware Diffusion Models
- Title（参考訳）: DreamMat: 幾何学および光認識拡散モデルによる高品質PBR材料生成
- Authors: Yuqing Zhang, Yuan Liu, Zhiyu Xie, Lei Yang, Zhongyuan Liu, Mengzhou Yang, Runze Zhang, Qilong Kou, Cheng Lin, Wenping Wang, Xiaogang Jin,
- Abstract要約: テキスト記述から高品質なPBR材料を生成する革新的な手法であるDreamMatを紹介する。
まず、所定の照明環境における新しい光認識2次元拡散モデルを作成し、この特定の照明環境におけるシェーディング結果を生成する。
物質蒸留に同じ環境光を適用することで、DreamMatは、与えられた幾何学と整合するだけでなく、アルベドの焼き込みシェーディング効果のない高品質のPBR材料を生成することができる。
- 参考スコア（独自算出の注目度）: 43.90578254200415
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 2D diffusion model, which often contains unwanted baked-in shading effects and results in unrealistic rendering effects in the downstream applications. Generating Physically Based Rendering (PBR) materials instead of just RGB textures would be a promising solution. However, directly distilling the PBR material parameters from 2D diffusion models still suffers from incorrect material decomposition, such as baked-in shading effects in albedo. We introduce DreamMat, an innovative approach to resolve the aforementioned problem, to generate high-quality PBR materials from text descriptions. We find out that the main reason for the incorrect material distillation is that large-scale 2D diffusion models are only trained to generate final shading colors, resulting in insufficient constraints on material decomposition during distillation. To tackle this problem, we first finetune a new light-aware 2D diffusion model to condition on a given lighting environment and generate the shading results on this specific lighting condition. Then, by applying the same environment lights in the material distillation, DreamMat can generate high-quality PBR materials that are not only consistent with the given geometry but also free from any baked-in shading effects in albedo. Extensive experiments demonstrate that the materials produced through our methods exhibit greater visual appeal to users and achieve significantly superior rendering quality compared to baseline methods, which are preferable for downstream tasks such as game and film production.
- Abstract（参考訳）: 2次元拡散モデルは、しばしば焼き込みシェーディング効果を含み、下流のアプリケーションに非現実的なレンダリング効果をもたらす。
RGBテクスチャの代わりに物理ベースレンダリング(PBR)素材を生成することは、有望な解決策である。
しかしながら、2次元拡散モデルから直接PBR材料パラメータを蒸留することは、アルベドの焼入れシェーディング効果などの誤った材料分解に苦しむ。
上記の問題を解決するための革新的なアプローチであるDreamMatを導入し、テキスト記述から高品質なPBR材料を生成する。
この不正確な物質蒸留の主な理由は, 大規模2次元拡散モデルが最終シェーディング色を生成するためにのみ訓練されることであり, 蒸留中の材料の分解に制約が不十分であることが判明した。
この問題に対処するために、我々はまず、所定の照明環境において新しい光認識2D拡散モデルを作成し、この特定の照明条件上でシェーディング結果を生成する。
そして、同じ環境光を蒸留に応用することにより、DreamMatは、与えられた幾何学と整合性だけでなく、アルベドの焼成陰影効果のない高品質のPBR材料を生成することができる。
大規模な実験により,本手法により作製した材料は,ゲームや映画などの下流業務に好適なベースライン方式に比べて,ユーザにとってより視覚的な魅力を示し,レンダリング品質が著しく向上していることが示された。
関連論文リスト
- Boosting 3D Object Generation through PBR Materials [32.732511476490316]
物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。
アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。
粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
論文 参考訳（メタデータ） (2024-11-25T04:20:52Z) - MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors [67.74705555889336]
本稿では,テクスチャと材料特性に先立って2Dを組み込んだ,従来の3次元逆レンダリングパイプラインであるMaterialFusionを紹介する。
本稿では,2次元拡散モデルであるStableMaterialについて述べる。
種々の照明条件下で, 合成および実物体の4つのデータセット上でのMaterialFusionの照度特性を検証した。
論文 参考訳（メタデータ） (2024-09-23T17:59:06Z) - IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination [37.96484120807323]
本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。
我々は、最適化プロセスの正規化のための生成モデルを用いて、その材料を事前に学習する。
実世界および合成データセットを用いた実験により,本手法が材料回収における最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-04-17T17:45:08Z) - Intrinsic Image Diffusion for Indoor Single-view Material Estimation [55.276815106443976]
室内シーンの外観分解のための生成モデルIntrinsic Image Diffusionを提案する。
1つの入力ビューから、アルベド、粗さ、および金属地図として表される複数の材料説明をサンプリングする。
提案手法は,PSNRで1.5dB$,アルベド予測で45%のFIDスコアを達成し,よりシャープで,より一貫性があり,より詳細な資料を生成する。
論文 参考訳（メタデータ） (2023-12-19T15:56:19Z) - UniDream: Unifying Diffusion Priors for Relightable Text-to-3D Generation [101.2317840114147]
We present UniDream, a text-to-3D generation framework by integration priors。
提案手法は,(1)アルベド正規配位型多視点拡散・再構成モデルを得るための2相学習プロセス,(2)訓練された再構成・拡散モデルを用いたスコア蒸留サンプル(SDS)に基づく幾何およびアルベドテクスチャのプログレッシブ生成手順,(3)安定拡散モデルに基づく固定アルベドを保ちながらPBR生成を確定するSDSの革新的な応用,の3つからなる。
論文 参考訳（メタデータ） (2023-12-14T09:07:37Z) - RichDreamer: A Generalizable Normal-Depth Diffusion Model for Detail
Richness in Text-to-3D [31.77212284992657]
我々は3次元生成のための一般化可能な正規-深度拡散モデルを学ぶ。
アルベド拡散モデルを導入し、アルベド成分にデータ駆動的制約を課す。
実験の結果,既存のテキスト・ツー・3Dパイプラインに組み込むと,モデルのリッチさが著しく向上することがわかった。
論文 参考訳（メタデータ） (2023-11-28T16:22:33Z) - Relightify: Relightable 3D Faces from a Single Image via Diffusion
Models [86.3927548091627]
単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。
既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
論文 参考訳（メタデータ） (2023-05-10T11:57:49Z) - NeILF: Neural Incident Light Field for Physically-based Material
Estimation [31.230609753253713]
本稿では,多視点画像と再構成幾何から物質と照明を推定するための微分可能なレンダリングフレームワークを提案する。
本フレームワークでは,シーン照明をニューラルインシデント光電場(NeILF)と表現し,多層パーセプトロンでモデル化した表面BRDFとして材料特性を示す。
論文 参考訳（メタデータ） (2022-03-14T15:23:04Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳（メタデータ） (2021-10-30T01:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。