論文の概要: The Sky's the Limit: Re-lightable Outdoor Scenes via a Sky-pixel
Constrained Illumination Prior and Outside-In Visibility
- arxiv url: http://arxiv.org/abs/2311.16937v1
- Date: Tue, 28 Nov 2023 16:39:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 17:42:03.701854
- Title: The Sky's the Limit: Re-lightable Outdoor Scenes via a Sky-pixel
Constrained Illumination Prior and Outside-In Visibility
- Title（参考訳）: 空の限界:スカイピクセルを制約した照度前と外部視認性による再照準可能な屋外シーン
- Authors: James A. D. Gardner, Evgenii Kashin, Bernhard Egger, William A. P.
Smith
- Abstract要約: 制約のない画像コレクションからの屋外シーンの逆レンダリングは難しい課題である。
我々は、どんなスカイピクセルでも、遠方からの光を直接測定できるという事実を生かしている。
また、異なる空の可視性を計算するための新しいout-in'手法も導入する。
- 参考スコア（独自算出の注目度）: 20.17613336050339
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inverse rendering of outdoor scenes from unconstrained image collections is a
challenging task, particularly illumination/albedo ambiguities and occlusion of
the illumination environment (shadowing) caused by geometry. However, there are
many cues in an image that can aid in the disentanglement of geometry, albedo
and shadows. We exploit the fact that any sky pixel provides a direct
measurement of distant lighting in the corresponding direction and, via a
neural illumination prior, a statistical cue as to the remaining illumination
environment. We also introduce a novel `outside-in' method for computing
differentiable sky visibility based on a neural directional distance function.
This is efficient and can be trained in parallel with the neural scene
representation, allowing gradients from appearance loss to flow from shadows to
influence estimation of illumination and geometry. Our method estimates
high-quality albedo, geometry, illumination and sky visibility, achieving
state-of-the-art results on the NeRF-OSR relighting benchmark. Our code and
models can be found https://github.com/JADGardner/neusky
- Abstract（参考訳）: 制約のない画像コレクションからの屋外シーンの逆レンダリングは、特に幾何学によって引き起こされる照明環境(シャドウイング)の曖昧さと閉塞といった課題である。
しかし、画像には幾何、アルベド、影の絡み合いを補助する多くの手がかりがある。
我々は,任意のスカイピクセルが対応する方向の遠方の照度を直接測定し,また,ニューラル照明に先立って,残りの照明環境に関する統計的手がかりを与えるという事実を活用する。
また,神経方向距離関数に基づく微分可能な空視を計算できる新しい'outside-in'法を提案する。
これは効率的で、ニューラルシーンの表現と並行してトレーニングすることが可能で、外観損失から影からの流れへの勾配が照明と幾何学の推定に影響を与える。
提案手法は,高品質なアルベド,幾何学,照明,空の視認性を推定し,NeRF-OSRリライティングベンチマークの最先端結果を得た。
私たちのコードとモデルはhttps://github.com/JADGardner/neuskyを参照してください。
関連論文リスト
- GaNI: Global and Near Field Illumination Aware Neural Inverse Rendering [21.584362527926654]
GaNIは、同じ位置にある光とカメラで撮影されたシーンの画像から、幾何学、アルベド、粗さのパラメータを再構築することができる。
既存の逆レンダリング技術と光カメラは、単一の物体のみに焦点を合わせている。
論文 参考訳（メタデータ） (2024-03-22T23:47:19Z) - SIRe-IR: Inverse Rendering for BRDF Reconstruction with Shadow and
Illumination Removal in High-Illuminance Scenes [51.50157919750782]
本稿では,環境マップ,アルベド,粗さにシーンを分解する暗黙のニューラルレンダリング逆アプローチSIRe-IRを提案する。
間接放射場、通常光、可視光、および直接光を同時に正確にモデル化することにより、影と間接光の両方を除去することができる。
強い照明の存在下でも,影の干渉を伴わずに高品質なアルベドと粗さを回収する。
論文 参考訳（メタデータ） (2023-10-19T10:44:23Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - Aleth-NeRF: Low-light Condition View Synthesis with Concealing Fields [65.96818069005145]
ビューアー中心のバニラNeRFは、表示方向の3D位置からの発光としてのみレンダリングプロセスを単純化する。
古代ギリシア人の排ガス理論に触発され、我々はバニラ・ネRFにわずかな修正を加え、低照度シーンの複数の視点で訓練した。
我々は、ボリュームレンダリングの段階で光の輸送を減らし、サロゲートの概念であるConcealing Fieldsを導入する。
論文 参考訳（メタデータ） (2023-03-10T09:28:09Z) - Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。
それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。
我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
論文 参考訳（メタデータ） (2022-07-11T10:21:02Z) - Modeling Indirect Illumination for Inverse Rendering [31.734819333921642]
本稿では,空間的に変化する間接照明を効率よく回収するための新しい手法を提案する。
重要な洞察は、間接照明は入力画像から学習した神経放射場から便利に導出できるということである。
合成データと実データの両方の実験は、従来の研究と比較して、我々のアプローチの優れた性能を示している。
論文 参考訳（メタデータ） (2022-04-14T09:10:55Z) - Neural Radiance Fields for Outdoor Scene Relighting [70.97747511934705]
ニューラルラジアンス場に基づく屋外シーンライティングのための最初のアプローチであるNeRF-OSRを提案する。
従来の技術とは対照的に,本手法はシーン照明とカメラ視点の同時編集を可能にする。
シャドウ再現のための専用ネットワークも備えており、高品質の屋外照明に欠かせない。
論文 参考訳（メタデータ） (2021-12-09T18:59:56Z) - Neural Relightable Participating Media Rendering [26.431106015677]
我々は,グローバル照明の完全なシミュレーションにより,参加メディアのためのニューラル表現を学習する。
提案手法は,最先端手法と比較して,視覚的品質と数値的性能に優れる。
論文 参考訳（メタデータ） (2021-10-25T14:36:15Z) - Self-supervised Outdoor Scene Relighting [92.20785788740407]
本稿では, 自己指導型リライティング手法を提案する。
当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。
以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
論文 参考訳（メタデータ） (2021-07-07T09:46:19Z) - Shadow Neural Radiance Fields for Multi-view Satellite Photogrammetry [1.370633147306388]
本稿では,地球観測シーンの影認識型マルチビュー衛星光度測定法について述べる。
提案手法であるShadow Neural Radiance Field(S-NeRF)は,近年の暗黙的体積表現学習の進歩に追従する。
各シーンに対して、既知の視角から得られた高分解能光画像を用いてS-NeRFを訓練する。
学習はラベルや形状の事前を必要とせず、画像再構成損失によって自己管理される。
論文 参考訳（メタデータ） (2021-04-20T10:17:34Z) - NeRD: Neural Reflectance Decomposition from Image Collections [50.945357655498185]
NeRDは、神経放射場に物理ベースのレンダリングを導入することで、この分解を実現する方法である。
非ランベルト反射率、複素幾何、未知の照明さえも高品質のモデルに分解できる。
論文 参考訳（メタデータ） (2020-12-07T18:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。