論文の概要: SUNDIAL: 3D Satellite Understanding through Direct, Ambient, and Complex Lighting Decomposition

• arxiv url: http://arxiv.org/abs/2312.16215v1
• Date: Sun, 24 Dec 2023 02:46:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 20:44:18.960987
• Title: SUNDIAL: 3D Satellite Understanding through Direct, Ambient, and Complex Lighting Decomposition
• Title（参考訳）: SUNDIAL: 直接・環境・複雑な照明分解による3次元衛星理解
• Authors: Nikhil Behari, Akshat Dave, Kushagra Tiwary, William Yang, Ramesh Raskar
• Abstract要約: SUNDIALは、ニューラルネットワークを用いた衛星画像の3次元再構成のための包括的アプローチである。 我々はこの単一モデルアプローチで衛星シーンの幾何学、照明成分、太陽方向を学習する。 衛星シーンモデリングのための既存のNeRF技術に対するSUNDIALの性能評価を行った。
• 参考スコア（独自算出の注目度）: 17.660328148833134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D modeling from satellite imagery is essential in areas of environmental science, urban planning, agriculture, and disaster response. However, traditional 3D modeling techniques face unique challenges in the remote sensing context, including limited multi-view baselines over extensive regions, varying direct, ambient, and complex illumination conditions, and time-varying scene changes across captures. In this work, we introduce SUNDIAL, a comprehensive approach to 3D reconstruction of satellite imagery using neural radiance fields. We jointly learn satellite scene geometry, illumination components, and sun direction in this single-model approach, and propose a secondary shadow ray casting technique to 1) improve scene geometry using oblique sun angles to render shadows, 2) enable physically-based disentanglement of scene albedo and illumination, and 3) determine the components of illumination from direct, ambient (sky), and complex sources. To achieve this, we incorporate lighting cues and geometric priors from remote sensing literature in a neural rendering approach, modeling physical properties of satellite scenes such as shadows, scattered sky illumination, and complex illumination and shading of vegetation and water. We evaluate the performance of SUNDIAL against existing NeRF-based techniques for satellite scene modeling and demonstrate improved scene and lighting disentanglement, novel view and lighting rendering, and geometry and sun direction estimation on challenging scenes with small baselines, sparse inputs, and variable illumination.
• Abstract（参考訳）: 衛星画像からの3次元モデリングは、環境科学、都市計画、農業、災害対応において不可欠である。 しかし、従来の3dモデリング技術は、広範囲にわたるマルチビューベースラインの制限、ディレクティブ、アンビエント、複雑な照明条件の変更、キャプチャ全体の時間変動など、リモートセンシングコンテキストにおいてユニークな課題に直面している。 本稿では,ニューラルネットワークを用いた衛星画像の3次元再構成手法であるSUNDIALを紹介する。 この単一モデルアプローチで,衛星シーン形状,照明成分,太陽方向を共同で学習し,二次影線鋳造法を提案する。 1)斜めの太陽角による影の描画による風景形状の改善 2)情景アルベドと照明の身体的不連続を可能とし、 3) 照明の成分を, 直接的, 周囲的(空) および複雑な光源から決定する。 これを実現するために,我々は,遠隔センシング文献からの照明手がかりと幾何学的先行点をニューラルレンダリング手法に取り入れ,影,散在する空の照明,複雑な照明と植生と水の陰影などの衛星シーンの物理的特性をモデル化した。 衛星シーンモデリングのための既存のnerfベースの手法に対するsundialの性能を評価し、改良されたシーンと照明の絡み合い、新しいビューとライティングのレンダリング、および小さなベースライン、スパース入力、可変照明を備えた挑戦的なシーンにおける幾何と太陽方向の推定を実証する。

関連論文リスト

• Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
  本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-01-19T16:15:37Z)
• Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning [38.72679977945778]
  我々は多視点空中画像を用いて、ニューラルサイン距離場(SDF)を用いたファサードの形状、照明、材料を再構成する。 本実験は, ファサード全体の逆レンダリング, 新規なビュー合成, シーン編集において, 最先端のベースラインと比較して, 手法の優れた品質を示すものである。
  論文  参考訳（メタデータ） (2023-11-20T15:03:56Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• SPIDR: SDF-based Neural Point Fields for Illumination and Deformation [4.246563675883777]
  我々は新しいハイブリッド型ニューラルネットワークSDF表現であるSPIDRを紹介する。 環境光を学習するためのニューラル暗黙モデルを提案する。 シーンの照明をより正確に更新し,高品質な幾何編集を可能にするSPIDRの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-15T23:34:53Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)
• Shadow Neural Radiance Fields for Multi-view Satellite Photogrammetry [1.370633147306388]
  本稿では,地球観測シーンの影認識型マルチビュー衛星光度測定法について述べる。 提案手法であるShadow Neural Radiance Field(S-NeRF)は,近年の暗黙的体積表現学習の進歩に追従する。 各シーンに対して、既知の視角から得られた高分解能光画像を用いてS-NeRFを訓練する。 学習はラベルや形状の事前を必要とせず、画像再構成損失によって自己管理される。
  論文  参考訳（メタデータ） (2021-04-20T10:17:34Z)
• NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis [45.71507069571216]
  本稿では,無拘束の照明により照らされたシーンの画像を入力として入力する手法を提案する。 これにより、任意の照明条件下で新しい視点からレンダリングできる3D表現を生成します。
  論文  参考訳（メタデータ） (2020-12-07T18:56:08Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。