論文の概要: IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination
- arxiv url: http://arxiv.org/abs/2404.11593v2
- Date: Mon, 22 Apr 2024 18:21:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 18:36:58.242896
- Title: IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination
- Title(参考訳): IntrinsicAnything:未知照明下での逆レンダリングにおける拡散の事前学習
- Authors: Xi Chen, Sida Peng, Dongchen Yang, Yuan Liu, Bowen Pan, Chengfei Lv, Xiaowei Zhou,
- Abstract要約: 本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。
我々は、最適化プロセスの正規化のための生成モデルを用いて、その材料を事前に学習する。
実世界および合成データセットを用いた実験により,本手法が材料回収における最先端性能を実現することを示す。
- 参考スコア(独自算出の注目度): 37.96484120807323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper aims to recover object materials from posed images captured under an unknown static lighting condition. Recent methods solve this task by optimizing material parameters through differentiable physically based rendering. However, due to the coupling between object geometry, materials, and environment lighting, there is inherent ambiguity during the inverse rendering process, preventing previous methods from obtaining accurate results. To overcome this ill-posed problem, our key idea is to learn the material prior with a generative model for regularizing the optimization process. We observe that the general rendering equation can be split into diffuse and specular shading terms, and thus formulate the material prior as diffusion models of albedo and specular. Thanks to this design, our model can be trained using the existing abundant 3D object data, and naturally acts as a versatile tool to resolve the ambiguity when recovering material representations from RGB images. In addition, we develop a coarse-to-fine training strategy that leverages estimated materials to guide diffusion models to satisfy multi-view consistent constraints, leading to more stable and accurate results. Extensive experiments on real-world and synthetic datasets demonstrate that our approach achieves state-of-the-art performance on material recovery. The code will be available at https://zju3dv.github.io/IntrinsicAnything.
- Abstract(参考訳): 本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。
近年の手法は、物理的に異なるレンダリングによって材料パラメータを最適化することでこの課題を解決している。
しかし, 物体形状, 材料, 環境光の結合により, 逆レンダリング過程の間には固有のあいまいさがあり, 従来の手法が正確な結果を得るのを妨げている。
この不適切な問題を克服するために、我々は最適化プロセスの正規化のための生成モデルを用いて、材料を事前に学習する。
一般レンダリング方程式は拡散および特異シェーディング項に分割することができ、アルベドとスペキュラの拡散モデルとして先行して材料を定式化することができる。
この設計により、既存の豊富な3Dオブジェクトデータを用いてモデルをトレーニングすることができ、RGB画像から材料表現を復元する際の曖昧さを解決するための汎用ツールとして自然に機能する。
さらに,多視点一貫した制約を満たすために,推定材料を利用して拡散モデルを導出し,より安定かつ正確な結果を得るための粗大な訓練戦略を開発する。
実世界のデータセットと合成データセットの大規模な実験により,本手法が材料回収における最先端性能を実現することを示す。
コードはhttps://zju3dv.github.io/IntrinsicAnything.comから入手できる。
関連論文リスト
- MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。
このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
論文 参考訳(メタデータ) (2024-04-22T07:00:17Z) - Intrinsic Image Diffusion for Indoor Single-view Material Estimation [55.276815106443976]
室内シーンの外観分解のための生成モデルIntrinsic Image Diffusionを提案する。
1つの入力ビューから、アルベド、粗さ、および金属地図として表される複数の材料説明をサンプリングする。
提案手法は,PSNRで1.5dB$,アルベド予測で45%のFIDスコアを達成し,よりシャープで,より一貫性があり,より詳細な資料を生成する。
論文 参考訳(メタデータ) (2023-12-19T15:56:19Z) - Diffusion Posterior Illumination for Ambiguity-aware Inverse Rendering [63.24476194987721]
画像からシーン特性を推定する逆レンダリングは、困難な逆問題である。
既存のソリューションの多くは、プリエントを逆レンダリングパイプラインに組み込んで、プラウシブルなソリューションを奨励している。
本稿では,自然照明マップ上で事前学習した確率拡散モデルを最適化フレームワークに統合する手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T12:39:28Z) - Relightify: Relightable 3D Faces from a Single Image via Diffusion
Models [86.3927548091627]
単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。
既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
論文 参考訳(メタデータ) (2023-05-10T11:57:49Z) - NeILF: Neural Incident Light Field for Physically-based Material
Estimation [31.230609753253713]
本稿では,多視点画像と再構成幾何から物質と照明を推定するための微分可能なレンダリングフレームワークを提案する。
本フレームワークでは,シーン照明をニューラルインシデント光電場(NeILF)と表現し,多層パーセプトロンでモデル化した表面BRDFとして材料特性を示す。
論文 参考訳(メタデータ) (2022-03-14T15:23:04Z) - A Survey on Intrinsic Images: Delving Deep Into Lambert and Beyond [8.313161485540338]
内在画像や内在画像の分解は、伝統的にイメージを2つの層に分解する問題として説明されてきた。
近年,これらの分離の精度を高めるため,ディープラーニング技術が広く応用されている。
画像形成プロセスにおいて,より高度な物理原理を持つコンポーネントの可能性に対する意識が高まっていることを示す。
論文 参考訳(メタデータ) (2021-12-07T17:26:35Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳(メタデータ) (2021-10-30T01:59:39Z) - MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。
逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。
携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
論文 参考訳(メタデータ) (2020-09-30T21:33:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。