論文の概要: Generative Multiview Relighting for 3D Reconstruction under Extreme Illumination Variation
- arxiv url: http://arxiv.org/abs/2412.15211v1
- Date: Thu, 19 Dec 2024 18:59:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 13:31:03.478334
- Title: Generative Multiview Relighting for 3D Reconstruction under Extreme Illumination Variation
- Title（参考訳）: 極端照度変化下における3次元再構成のための生成的マルチビューライティング
- Authors: Hadi Alzayer, Philipp Henzler, Jonathan T. Barron, Jia-Bin Huang, Pratul P. Srinivasan, Dor Verbin,
- Abstract要約: 異なる環境で撮影された写真から物体の形状や外観を再構成することは困難である。
異なる照明下で撮影された画像からオブジェクトを再構成する手法を提案する。
提案手法を合成データと実データの両方で検証し,既存の手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 47.661481904822644
- License:
- Abstract: Reconstructing the geometry and appearance of objects from photographs taken in different environments is difficult as the illumination and therefore the object appearance vary across captured images. This is particularly challenging for more specular objects whose appearance strongly depends on the viewing direction. Some prior approaches model appearance variation across images using a per-image embedding vector, while others use physically-based rendering to recover the materials and per-image illumination. Such approaches fail at faithfully recovering view-dependent appearance given significant variation in input illumination and tend to produce mostly diffuse results. We present an approach that reconstructs objects from images taken under different illuminations by first relighting the images under a single reference illumination with a multiview relighting diffusion model and then reconstructing the object's geometry and appearance with a radiance field architecture that is robust to the small remaining inconsistencies among the relit images. We validate our proposed approach on both synthetic and real datasets and demonstrate that it greatly outperforms existing techniques at reconstructing high-fidelity appearance from images taken under extreme illumination variation. Moreover, our approach is particularly effective at recovering view-dependent "shiny" appearance which cannot be reconstructed by prior methods.
- Abstract（参考訳）: 異なる環境下で撮影された写真から物体の形状や外観を再構成することは、照明として困難であり、被写体の外観は撮影画像によって異なる。
これは、外見が視線方向に強く依存する、より明細な物体にとって特に困難である。
以前のアプローチでは、画像ごとの埋め込みベクターを用いて画像間の外観変化をモデル化し、他のアプローチでは、物理ベースのレンダリングを使用して材料を復元し、画像ごとの照明を行う。
このようなアプローチは、入力照明に顕著なばらつきがあるため、ビュー依存の外観を忠実に回復することができず、主に拡散結果をもたらす傾向にある。
本稿では,複数視点の照度拡散モデルを用いて1つの参照照度で画像を照らすことで,異なる照度下で撮影された画像からオブジェクトを再構成し,被写体形状と外観を,被写体間の小さな不整合に対して頑健な放射野構造で再構成する手法を提案する。
提案手法を合成データと実データの両方で検証し, 極端照明条件下で撮影された画像から高忠実度画像の再構成において, 既存の手法よりも優れていたことを示す。
さらに,本手法は,従来の手法では再構築できないビュー依存の「輝き」の出現を回復する上で,特に有効である。
関連論文リスト
- A General Albedo Recovery Approach for Aerial Photogrammetric Images through Inverse Rendering [7.874736360019618]
本稿では,自然光照射下での典型的な航空写真からのアルベド回収のための一般的な画像形成モデルを提案する。
我々のアプローチは、太陽の照明と風景の幾何学の両方が空中光度計で推定可能であるという事実に基づいている。
論文 参考訳（メタデータ） (2024-09-04T18:58:32Z) - Diffusion Posterior Illumination for Ambiguity-aware Inverse Rendering [63.24476194987721]
画像からシーン特性を推定する逆レンダリングは、困難な逆問題である。
既存のソリューションの多くは、プリエントを逆レンダリングパイプラインに組み込んで、プラウシブルなソリューションを奨励している。
本稿では,自然照明マップ上で事前学習した確率拡散モデルを最適化フレームワークに統合する手法を提案する。
論文 参考訳（メタデータ） (2023-09-30T12:39:28Z) - Factored-NeuS: Reconstructing Surfaces, Illumination, and Materials of
Possibly Glossy Objects [46.04357263321969]
提案する多視点画像からシーンの表面, 材料, 照明を復元する手法を開発した。
追加のデータは必要ないし、光沢のあるオブジェクトや明るい照明も扱える。
論文 参考訳（メタデータ） (2023-05-29T07:44:19Z) - NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from
Multiview Images [44.1333444097976]
未知の環境で撮影された多視点画像から反射物体の形状とBRDFを再構成するニューラルネットワークNeROを提案する。
論文 参考訳（メタデータ） (2023-05-27T07:40:07Z) - IRISformer: Dense Vision Transformers for Single-Image Inverse Rendering
in Indoor Scenes [99.76677232870192]
我々は、高密度な視覚変換器であるIRISformerが、逆レンダリングに必要なシングルタスクとマルチタスクの推論の両方で優れていることを示す。
具体的には,屋内シーンの単一画像から深度,正規度,空間変化アルベド,粗さ,照明を同時に推定するトランスフォーマーアーキテクチャを提案する。
ベンチマークデータセットを用いた評価では、上記の各タスクについて最先端の結果が示され、オブジェクト挿入や物質編集などの応用を、制約のない1つの実画像で実現する。
論文 参考訳（メタデータ） (2022-06-16T19:50:55Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳（メタデータ） (2021-10-30T01:59:39Z) - Towards High Fidelity Monocular Face Reconstruction with Rich
Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。
古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。
一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
論文 参考訳（メタデータ） (2021-03-29T08:58:10Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。