論文の概要: Lighthouse: Predicting Lighting Volumes for Spatially-Coherent Illumination

• arxiv url: http://arxiv.org/abs/2003.08367v2
• Date: Wed, 13 May 2020 17:04:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 13:08:05.847018
• Title: Lighthouse: Predicting Lighting Volumes for Spatially-Coherent Illumination
• Title（参考訳）: 照明室:空間コヒーレント照明の照明量予測
• Authors: Pratul P. Srinivasan, Ben Mildenhall, Matthew Tancik, Jonathan T. Barron, Richard Tucker, Noah Snavely
• Abstract要約: 入力狭帯域ステレオ画像ペアからシーン内の任意の3次元位置における入射照度を推定する深層学習ソリューションを提案する。 本モデルでは,入力ステレオペア近傍の視野ビューと,各シーン内の球状パノラマのみを監督する。 提案手法は,高精細な仮想物体を実画像に挿入して照らし出すのに十分な空間変化の連続した照明を予測できることを実証する。
• 参考スコア（独自算出の注目度）: 84.00096195633793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a deep learning solution for estimating the incident illumination at any 3D location within a scene from an input narrow-baseline stereo image pair. Previous approaches for predicting global illumination from images either predict just a single illumination for the entire scene, or separately estimate the illumination at each 3D location without enforcing that the predictions are consistent with the same 3D scene. Instead, we propose a deep learning model that estimates a 3D volumetric RGBA model of a scene, including content outside the observed field of view, and then uses standard volume rendering to estimate the incident illumination at any 3D location within that volume. Our model is trained without any ground truth 3D data and only requires a held-out perspective view near the input stereo pair and a spherical panorama taken within each scene as supervision, as opposed to prior methods for spatially-varying lighting estimation, which require ground truth scene geometry for training. We demonstrate that our method can predict consistent spatially-varying lighting that is convincing enough to plausibly relight and insert highly specular virtual objects into real images.
• Abstract（参考訳）: 入力狭帯域ステレオ画像ペアからシーン内の任意の3次元位置における入射照度を推定する深層学習ソリューションを提案する。 画像からグローバル照明を予測する以前のアプローチでは、シーン全体の1つの照明だけを予測するか、同じ3dシーンと一致させることなく各3d位置の照明を別々に見積もる。 代わりに,観察された視野外のコンテンツを含むシーンの3次元ボリュームrgbaモデルを推定し,そのボリューム内の任意の3次元位置における入射照明を標準ボリュームレンダリングを用いて推定する深層学習モデルを提案する。 本モデルでは,地上真理3dデータを用いず,入力ステレオペア近傍のホールドアウト視点と,各シーン内の球面パノラマのみを監督として使用する。 本手法は,実画像に高精細な仮想物体を照らし,挿入するのに十分説得力のある空間変動照明を予測できることを実証する。

関連論文リスト

• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Towards High-Fidelity Single-view Holistic Reconstruction of Indoor Scenes [50.317223783035075]
  単視点画像から総合的な3次元屋内シーンを再構築するための新しい枠組みを提案する。 詳細なオブジェクト再構成のためのインスタンス整列型暗黙関数(InstPIFu)を提案する。 私たちのコードとモデルは公開されます。
  論文  参考訳（メタデータ） (2022-07-18T14:54:57Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Lighting, Reflectance and Geometry Estimation from 360$^{\circ}$ Panoramic Stereo [88.14090671267907]
  本研究では,360$circ$ステレオ画像から高精細な空間変動照明,反射率,形状を推定する手法を提案する。 我々のモデルは、360$circ$入力を利用して、幾何学的詳細でシーン全体を観察し、物理的制約でシーンのプロパティを共同で推定する。
  論文  参考訳（メタデータ） (2021-04-20T10:41:50Z)
• EMLight: Lighting Estimation via Spherical Distribution Approximation [33.26530733479459]
  本稿では,回帰ネットワークとニューラルプロジェクタを用いて正確な照明推定を行う照明推定フレームワークを提案する。 照明マップを球状光分布、光強度、周囲期間に分解します。 予測された球面分布、光強度、周囲項の誘導の下で、神経プロジェクターは現実的な光周波数でパノラマ照明マップを合成する。
  論文  参考訳（メタデータ） (2020-12-21T04:54:08Z)
• NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis [45.71507069571216]
  本稿では,無拘束の照明により照らされたシーンの画像を入力として入力する手法を提案する。 これにより、任意の照明条件下で新しい視点からレンダリングできる3D表現を生成します。
  論文  参考訳（メタデータ） (2020-12-07T18:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。