論文の概要: MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

• arxiv url: http://arxiv.org/abs/2409.15273v1
• Date: Mon, 23 Sep 2024 17:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 13:43:14.903831
• Title: MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors
• Title（参考訳）: MaterialFusion: 材料拡散プリミティブによる逆レンダリングの強化
• Authors: Yehonathan Litman, Or Patashnik, Kangle Deng, Aviral Agrawal, Rushikesh Zawar, Fernando De la Torre, Shubham Tulsiani,
• Abstract要約: 本稿では,テクスチャと材料特性に先立って2Dを組み込んだ,従来の3次元逆レンダリングパイプラインであるMaterialFusionを紹介する。 本稿では,2次元拡散モデルであるStableMaterialについて述べる。 種々の照明条件下で, 合成および実物体の4つのデータセット上でのMaterialFusionの照度特性を検証した。
• 参考スコア（独自算出の注目度）: 67.74705555889336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works in inverse rendering have shown promise in using multi-view images of an object to recover shape, albedo, and materials. However, the recovered components often fail to render accurately under new lighting conditions due to the intrinsic challenge of disentangling albedo and material properties from input images. To address this challenge, we introduce MaterialFusion, an enhanced conventional 3D inverse rendering pipeline that incorporates a 2D prior on texture and material properties. We present StableMaterial, a 2D diffusion model prior that refines multi-lit data to estimate the most likely albedo and material from given input appearances. This model is trained on albedo, material, and relit image data derived from a curated dataset of approximately ~12K artist-designed synthetic Blender objects called BlenderVault. we incorporate this diffusion prior with an inverse rendering framework where we use score distillation sampling (SDS) to guide the optimization of the albedo and materials, improving relighting performance in comparison with previous work. We validate MaterialFusion's relighting performance on 4 datasets of synthetic and real objects under diverse illumination conditions, showing our diffusion-aided approach significantly improves the appearance of reconstructed objects under novel lighting conditions. We intend to publicly release our BlenderVault dataset to support further research in this field.
• Abstract（参考訳）: 逆レンダリングにおける最近の研究は、物体のマルチビュー画像を用いて形状、アルベド、材料を復元する際の有望性を示している。 しかし、回収された部品は、入力画像からアルベドや材料特性を遠ざけるという本質的な課題のために、新しい照明条件下で正確にレンダリングできないことが多い。 この課題に対処するために、テクスチャと材料特性に先立って2Dを組み込んだ従来の3D逆レンダリングパイプラインであるMaterialFusionを導入する。 本稿では,2次元拡散モデルであるStableMaterialについて述べる。 このモデルは、約12Kのアーティストが設計したBlenderVaultと呼ばれる合成Blenderオブジェクトのキュレートデータセットから得られた、アルベド、材料、および依存の画像データに基づいてトレーニングされている。 我々はこの拡散を逆レンダリングフレームワークに組み入れ、アルベドと材料の最適化を導くためにスコア蒸留サンプリング(SDS)を使用し、以前の研究と比較して照明性能を向上させる。 本研究では, 各種照明条件下での合成物と実物の4つのデータセット上でのマテリアルフュージョンの照度特性を評価し, 拡散支援手法により, 新規照明条件下での再構成物の外観を著しく改善することを示す。 私たちは、この分野のさらなる研究をサポートするために、BlenderVaultデータセットを公開します。

関連論文リスト

• Boosting 3D Object Generation through PBR Materials [32.732511476490316]
  物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。 アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。 粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
  論文  参考訳（メタデータ） (2024-11-25T04:20:52Z)
• Material Anything: Generating Materials for Any 3D Object via Diffusion [39.46553064506517]
  本稿では,3次元オブジェクトのための物理的材料を生成するための,完全自動統合拡散フレームワークを提案する。 Material Anythingは、多様な照明条件下でオブジェクトに適応可能な堅牢でエンドツーエンドのソリューションを提供する。
  論文  参考訳（メタデータ） (2024-11-22T18:59:39Z)
• DreamMat: High-quality PBR Material Generation with Geometry- and Light-aware Diffusion Models [43.90578254200415]
  テキスト記述から高品質なPBR材料を生成する革新的な手法であるDreamMatを紹介する。 まず、所定の照明環境における新しい光認識2次元拡散モデルを作成し、この特定の照明環境におけるシェーディング結果を生成する。 物質蒸留に同じ環境光を適用することで、DreamMatは、与えられた幾何学と整合するだけでなく、アルベドの焼き込みシェーディング効果のない高品質のPBR材料を生成することができる。
  論文  参考訳（メタデータ） (2024-05-27T13:55:08Z)
• MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
  本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。 このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
  論文  参考訳（メタデータ） (2024-04-22T07:00:17Z)
• IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination [37.96484120807323]
  本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。 我々は、最適化プロセスの正規化のための生成モデルを用いて、その材料を事前に学習する。 実世界および合成データセットを用いた実験により,本手法が材料回収における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-17T17:45:08Z)
• Intrinsic Image Diffusion for Indoor Single-view Material Estimation [55.276815106443976]
  室内シーンの外観分解のための生成モデルIntrinsic Image Diffusionを提案する。 1つの入力ビューから、アルベド、粗さ、および金属地図として表される複数の材料説明をサンプリングする。 提案手法は,PSNRで1.5dB$,アルベド予測で45%のFIDスコアを達成し,よりシャープで,より一貫性があり,より詳細な資料を生成する。
  論文  参考訳（メタデータ） (2023-12-19T15:56:19Z)
• UniDream: Unifying Diffusion Priors for Relightable Text-to-3D Generation [101.2317840114147]
  We present UniDream, a text-to-3D generation framework by integration priors。 提案手法は,(1)アルベド正規配位型多視点拡散・再構成モデルを得るための2相学習プロセス,(2)訓練された再構成・拡散モデルを用いたスコア蒸留サンプル(SDS)に基づく幾何およびアルベドテクスチャのプログレッシブ生成手順,(3)安定拡散モデルに基づく固定アルベドを保ちながらPBR生成を確定するSDSの革新的な応用,の3つからなる。
  論文  参考訳（メタデータ） (2023-12-14T09:07:37Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
  本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。 逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。 携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
  論文  参考訳（メタデータ） (2020-09-30T21:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。