論文の概要: LUMEN: Geometry-Guided Diffusion Model for Spatially-Varying HDR Illumination Estimation
- arxiv url: http://arxiv.org/abs/2611.01823v1
- Date: Sun, 01 Nov 2026 11:41:52 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:50:39.581904
- Title: LUMEN: Geometry-Guided Diffusion Model for Spatially-Varying HDR Illumination Estimation
- Title(参考訳): LUMEN:空間変動HDR照明推定のための幾何学誘導拡散モデル
- Abstract要約: 照明が本質的に空間的に変化しているため、画像からシーン照明を推定することは困難である。
我々は、多視点RGB画像、深度、HDR照明を含む700の屋内シーンの合成データセットを構築した。
このデータセットは、様々なシーンにまたがる空間的に一貫した照明分布を学習することを可能にする。
- 参考スコア(独自算出の注目度): 28.571321603084385
- License:
- Abstract: Estimating scene illumination from images is challenging as lighting is inherently spatially varying, depending on geometry, occlusion, and light sources. Existing methods incorporate geometric cues by deriving local environment maps or probe-based representations, but largely rely on regression or parametric models, resulting in over-smoothed lighting and limited realism. We revisit spatially-varying illumination estimation from a generative perspective and introduce LUMEN, a geometry-conditioned diffusion framework for synthesizing high-dynamic-range (HDR) environment maps at arbitrary spatial locations from single or multi-view images. Specifically, we reconstruct a coarse 3D scene from input images and render partial environment maps at arbitrary locations to encode visibility and spatial structure. These signals are fused with multi-view image features and fed into a diffusion transformer to generate full HDR environment maps. To train the model, we build a synthetic dataset of 700 indoor scenes with dense spatial supervision, including multi-view RGB images, depth, and HDR illumination at multiple sampled locations. This dataset enables the model to learn spatially consistent lighting distributions across diverse scenes. Extensive experiments demonstrate that LUMEN significantly improves visual fidelity and spatial coherence compared to prior approaches.
- Abstract(参考訳): 画像からシーンの照度を推定することは、幾何学、閉塞、光源によって本質的に空間的に異なるため、困難である。
既存の手法では、局所環境マップやプローブベースの表現を導出することで幾何学的な手がかりを取り入れているが、回帰モデルやパラメトリックモデルに大きく依存しており、過度に滑らかな照明と制限されたリアリズムをもたらす。
LUMENは、高ダイナミックレンジ(HDR)環境マップを、単一または多視点の画像から任意の空間位置で合成するための幾何学的条件付き拡散フレームワークである。
具体的には、入力画像から粗い3Dシーンを再構成し、任意の場所で部分環境マップをレンダリングし、可視性と空間構造を符号化する。
これらの信号は多視点画像特徴と融合し、フルHDR環境マップを生成する拡散トランスフォーマーに入力される。
モデルをトレーニングするために,多視点RGB画像,深度,HDR照明を含む,密集した空間監視を備えた700の屋内シーンの合成データセットを構築した。
このデータセットは、様々なシーンにまたがる空間的に一貫した照明分布を学習することを可能にする。
広汎な実験により、LUMENは従来のアプローチに比べて視覚的忠実度と空間的コヒーレンスを著しく改善することが示された。
関連論文リスト
- RoomLight: A 2.5D Illumination Prior for Indoor Environments [4.326714095821599]
逆レンダリングでは、学習先行者は自然光の分布をモデル化し、シーン特性の回復を改善する。
既存のモデルは遠距離照明の仮定に頼っており、照明を遠距離フィールド環境マップとして表現している。
実世界の室内パノラマと推定深度で訓練された空間認識照明を導入する。
論文 参考訳(メタデータ) (2026-09-23T15:46:46Z) - LightHarmony3D: Harmonizing Illumination and Shadows for Object Insertion in 3D Gaussian Splatting [90.15229815175593]
光ハーモニー3D(LightHarmony3D)について述べる。
繰り返し最適化の代わりに生成前処理を活用することにより,本手法はシーン照明を効率よく捉えることができる。
3DGSでメッシュ挿入のための最初の専用ベンチマークを導入し、照明の一貫性と光リアリズムを評価するための標準化された評価フレームワークを提供する。
論文 参考訳(メタデータ) (2026-03-31T03:26:30Z) - LuxDiT: Lighting Estimation with Video Diffusion Transformer [66.60450792095901]
単一の画像やビデオからシーンライティングを推定することは、コンピュータビジョンとグラフィックスにおいて長年の課題である。
本稿では,映像拡散変換器を微調整し,視覚入力を前提としたHDR環境マップを生成するLuxDiTを提案する。
論文 参考訳(メタデータ) (2025-09-03T19:59:20Z) - Generalizable and Relightable Gaussian Splatting for Human Novel View Synthesis [49.67420486373202]
GRGSは、多彩な照明条件下での高忠実なヒューマン・ノベル・ビュー・シンセサイザーのための一般的な3Dガウスのフレームワークである。
我々は, 精密深度および表面の正常度を予測するために, 合成依存データに基づいて学習した照明対応幾何微細化(LGR)モジュールを提案する。
論文 参考訳(メタデータ) (2025-05-27T17:59:47Z) - PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。
PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
論文 参考訳(メタデータ) (2024-08-13T13:26:24Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳(メタデータ) (2023-04-06T17:51:54Z) - Multi-view Gradient Consistency for SVBRDF Estimation of Complex Scenes
under Natural Illumination [6.282068591820945]
本稿では,自然照明下で観察された複雑なシーンの表面反射率を空間的に変化させる手法を提案する。
エンドツーエンドのプロセスでは、シーンの幾何学のモデルと、シーンの表面をキャプチャするいくつかの画像を使用する。
実験により, 複雑な形状を持つ任意の屋外シーンに対して, 現実的な結果が得られた。
論文 参考訳(メタデータ) (2022-02-25T23:49:39Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。