論文の概要: IRIS: Inverse Rendering of Indoor Scenes from Low Dynamic Range Images
- arxiv url: http://arxiv.org/abs/2401.12977v1
- Date: Tue, 23 Jan 2024 18:59:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 14:48:25.172187
- Title: IRIS: Inverse Rendering of Indoor Scenes from Low Dynamic Range Images
- Title(参考訳): IRIS:低ダイナミックレンジ画像からの室内シーンの逆レンダリング
- Authors: Zhi-Hao Lin, Jia-Bin Huang, Zhengqin Li, Zhao Dong, Christian
Richardt, Tuotuo Li, Michael Zollh\"ofer, Johannes Kopf, Shenlong Wang,
Changil Kim
- Abstract要約: 本稿では,多視点低ダイナミックレンジ(LDR)画像からシーンの物理的特性と照明を復元する手法を提案する。
提案手法は,LDR画像を入力として利用する既存の手法よりも優れており,リアルなリライティングやオブジェクト挿入を実現している。
- 参考スコア(独自算出の注目度): 32.83096814910201
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While numerous 3D reconstruction and novel-view synthesis methods allow for
photorealistic rendering of a scene from multi-view images easily captured with
consumer cameras, they bake illumination in their representations and fall
short of supporting advanced applications like material editing, relighting,
and virtual object insertion. The reconstruction of physically based material
properties and lighting via inverse rendering promises to enable such
applications.
However, most inverse rendering techniques require high dynamic range (HDR)
images as input, a setting that is inaccessible to most users. We present a
method that recovers the physically based material properties and
spatially-varying HDR lighting of a scene from multi-view, low-dynamic-range
(LDR) images. We model the LDR image formation process in our inverse rendering
pipeline and propose a novel optimization strategy for material, lighting, and
a camera response model. We evaluate our approach with synthetic and real
scenes compared to the state-of-the-art inverse rendering methods that take
either LDR or HDR input. Our method outperforms existing methods taking LDR
images as input, and allows for highly realistic relighting and object
insertion.
- Abstract(参考訳): 多数の3次元再構成と新しい視点合成手法によって、コンシューマーカメラで簡単に撮影できるマルチビュー画像からのシーンのフォトリアリスティックなレンダリングが可能になる一方で、それらの表現に照明を焼き付け、素材の編集、リライト、仮想オブジェクト挿入といった高度なアプリケーションのサポートを欠いている。
物理的な材料特性の再構築と逆レンダリングによる照明により、そのような応用が可能になる。
しかし、ほとんどの逆レンダリング技術は入力として高ダイナミックレンジ(HDR)画像を必要とする。
本稿では,多視点低ダイナミックレンジ(LDR)画像から物理特性と空間的に変化するシーンのHDR照明を復元する手法を提案する。
逆レンダリングパイプラインにおけるLDR画像生成過程をモデル化し,材料,照明,カメラ応答モデルに対する新たな最適化戦略を提案する。
ldr と hdr を入力とする最先端の逆レンダリング手法と比較し,合成および実場面によるアプローチを評価した。
提案手法は,LDR画像を入力として利用する既存の手法よりも優れており,リアルなリライティングやオブジェクト挿入を実現している。
関連論文リスト
- LEDiff: Latent Exposure Diffusion for HDR Generation [11.669442066168244]
LEDiffは、遅延空間露光融合技術により、HDRコンテンツを生成する生成モデルを実現する方法である。
また、LDR-to-fusionコンバータとしても機能し、既存の低ダイナミックレンジ画像のダイナミックレンジを拡張する。
論文 参考訳(メタデータ) (2024-12-19T02:15:55Z) - Cinematic Gaussians: Real-Time HDR Radiance Fields with Depth of Field [23.92087253022495]
放射場法は、多視点写真から複雑なシーンを再構成する際の技法の状態を表現している。
ピンホールカメラモデルへの依存は、すべてのシーン要素が入力画像に集中していると仮定し、実用的な課題を提示し、新規な視点合成において再焦点を複雑にする。
様々な露光時間,開口の放射率,焦点距離を多視点LDR画像を用いて高ダイナミックレンジシーンを再構成する3Dガウススメッティングに基づく軽量解析手法を提案する。
論文 参考訳(メタデータ) (2024-06-11T15:00:24Z) - Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry
from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。
実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-12-26T08:10:22Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳(メタデータ) (2023-04-06T17:51:54Z) - GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。
鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。
実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
論文 参考訳(メタデータ) (2022-11-22T15:42:08Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-13T15:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。