論文の概要: Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion

• arxiv url: http://arxiv.org/abs/2412.09593v1
• Date: Thu, 12 Dec 2024 18:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:32:11.660269
• Title: Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion
• Title（参考訳）: ニューラルライトリグ:高精度物体正規解離と多光拡散による材料推定
• Authors: Zexin He, Tengfei Wang, Xin Huang, Xingang Pan, Ziwei Liu,
• Abstract要約: 本稿では,2次元拡散先行から補助的な多照光条件を活用することにより,本質的な推定を促進する新しいフレームワークを提案する。 我々は、U-Netバックボーンで大きなGバッファモデルを訓練し、表面の正常さや材料を正確に予測する。
• 参考スコア（独自算出の注目度）: 45.81230812844384
• License:
• Abstract: Recovering the geometry and materials of objects from a single image is challenging due to its under-constrained nature. In this paper, we present Neural LightRig, a novel framework that boosts intrinsic estimation by leveraging auxiliary multi-lighting conditions from 2D diffusion priors. Specifically, 1) we first leverage illumination priors from large-scale diffusion models to build our multi-light diffusion model on a synthetic relighting dataset with dedicated designs. This diffusion model generates multiple consistent images, each illuminated by point light sources in different directions. 2) By using these varied lighting images to reduce estimation uncertainty, we train a large G-buffer model with a U-Net backbone to accurately predict surface normals and materials. Extensive experiments validate that our approach significantly outperforms state-of-the-art methods, enabling accurate surface normal and PBR material estimation with vivid relighting effects. Code and dataset are available on our project page at https://projects.zxhezexin.com/neural-lightrig.
• Abstract（参考訳）: 一つの画像から物体の形状や素材を復元することは、その制約の少ない性質のために困難である。 本稿では,2次元拡散先行から補助的な多照光条件を活用することによって本質的な推定を促進する新しいフレームワークであるNeural LightRigを提案する。 具体的には 1) 大規模拡散モデルからの照明先行情報を利用して, 専用の設計による合成照明データセット上に多光拡散モデルを構築する。 この拡散モデルは複数の一貫した画像を生成し、それぞれ異なる方向に点光源で照らされる。 2) これらの様々な照明画像を用いて推定の不確かさを低減し,U-Netバックボーンを用いた大きなGバッファモデルを訓練し,表面の正常さや材料を正確に予測する。 広汎な実験により,本手法が最先端の手法を著しく上回り,鮮明な照明効果で表面正常およびPBR材質推定が可能となった。 コードとデータセットは、プロジェクトのページhttps://projects.zxhezexin.com/neural-lightrig.comで公開されています。

関連論文リスト

• RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
  本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
  論文  参考訳（メタデータ） (2024-10-08T17:40:01Z)
• A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis [6.883971329818549]
  単一照度データを用いた照度場作成手法を提案する。 光方向条件付き多照度データセット上で,まず2次元拡散モデルを微調整する。 単一照明下での合成および実マルチビューデータについて結果を示す。
  論文  参考訳（メタデータ） (2024-09-13T16:07:25Z)
• IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination [37.96484120807323]
  本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。 我々は、最適化プロセスの正規化のための生成モデルを用いて、その材料を事前に学習する。 実世界および合成データセットを用いた実験により,本手法が材料回収における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-17T17:45:08Z)
• NeISF: Neural Incident Stokes Field for Geometry and Material Estimation [50.588983686271284]
  多視点逆レンダリングは、異なる視点で撮影された一連の画像から形状、材料、照明などのシーンパラメータを推定する問題である。 本稿では,偏光手がかりを用いた曖昧さを低減する多視点逆フレームワークNeISFを提案する。
  論文  参考訳（メタデータ） (2023-11-22T06:28:30Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• NeILF: Neural Incident Light Field for Physically-based Material Estimation [31.230609753253713]
  本稿では,多視点画像と再構成幾何から物質と照明を推定するための微分可能なレンダリングフレームワークを提案する。 本フレームワークでは,シーン照明をニューラルインシデント光電場(NeILF)と表現し,多層パーセプトロンでモデル化した表面BRDFとして材料特性を示す。
  論文  参考訳（メタデータ） (2022-03-14T15:23:04Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。