論文の概要: BRDF-NeRF: Neural Radiance Fields with Optical Satellite Images and BRDF Modelling
- arxiv url: http://arxiv.org/abs/2409.12014v3
- Date: Wed, 25 Sep 2024 18:19:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 19:26:16.169726
- Title: BRDF-NeRF: Neural Radiance Fields with Optical Satellite Images and BRDF Modelling
- Title(参考訳): BRDF-NeRF:光衛星画像とBRDFモデリングを用いたニューラルラジアンス場
- Authors: Lulin Zhang, Ewelina Rupnik, Tri Dung Nguyen, Stéphane Jacquemoud, Yann Klinger,
- Abstract要約: 本稿では,Rahman-Pinty-Verstraete (RPV) BRDFモデルを用いたBRDF-NeRFを提案する。
BRDF-NeRFは目に見えない角度から新しいビューを合成し、高品質なデジタル表面モデルを生成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural radiance fields (NeRF) have gained prominence as a machine learning technique for representing 3D scenes and estimating the bidirectional reflectance distribution function (BRDF) from multiple images. However, most existing research has focused on close-range imagery, typically modeling scene surfaces with simplified Microfacet BRDF models, which are often inadequate for representing complex Earth surfaces. Furthermore, NeRF approaches generally require large sets of simultaneously captured images for high-quality surface depth reconstruction - a condition rarely met in satellite imaging. To overcome these challenges, we introduce BRDF-NeRF, which incorporates the physically-based semi-empirical Rahman-Pinty-Verstraete (RPV) BRDF model, known to better capture the reflectance properties of natural surfaces. Additionally, we propose guided volumetric sampling and depth supervision to enable radiance field modeling with a minimal number of views. Our method is evaluated on two satellite datasets: (1) Djibouti, captured at varying viewing angles within a single epoch with a fixed Sun position, and (2) Lanzhou, captured across multiple epochs with different Sun positions and viewing angles. Using only three to four satellite images for training, BRDF-NeRF successfully synthesizes novel views from unseen angles and generates high-quality digital surface models (DSMs).
- Abstract(参考訳): ニューラルレイディアンス場(NeRF)は、3次元シーンを表現し、複数の画像から双方向反射率分布関数(BRDF)を推定する機械学習技術として注目されている。
しかし、既存のほとんどの研究は近距離画像に焦点を当てており、通常は複雑な地球表面を表すのに不十分な、単純化されたマイクロフェイスBRDFモデルでシーン表面をモデル化している。
さらに、NeRFアプローチは一般的に、高品質な表面深度再構成のために、同時に撮像された大量の画像を必要とする。
これらの課題を克服するために,自然表面の反射特性をよりよく捉えることで知られている,物理的に経験的なRahman-Pinty-Verstraete (RPV) BRDFモデルを組み込んだBRDF-NeRFを導入する。
さらに,最小限のビューで放射場モデリングを可能にするため,ボリュームサンプリングと深度監視のガイドも提案する。
本手法は,(1)太陽位置が固定された1つのエポック内において異なる視角で撮影されるジブチ,(2)太陽位置と視角の異なる複数のエポックにわたって撮影されるラン州,の2つの衛星データセットを用いて評価した。
BRDF-NeRFは3から4つの衛星画像のみを使用して、目に見えない角度から新しいビューを合成し、高品質なデジタル表面モデル(DSM)を生成することに成功した。
関連論文リスト
- Radiance Fields from Photons [18.15183252935672]
単一光子カメラ(SPC)を用いて個々の光子の粒度を学習する神経放射場である量子放射場を導入する。
シミュレーションとプロトタイプのSPCハードウェア,高速動作下での高忠実度再構成,低光域,超ダイナミックレンジ設定による実演を行った。
論文 参考訳(メタデータ) (2024-07-12T16:06:51Z) - Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。
各種タスクにおけるMesh2NeRFの有効性を検証する。
論文 参考訳(メタデータ) (2024-03-28T11:22:53Z) - Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry
from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。
実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-12-26T08:10:22Z) - rpcPRF: Generalizable MPI Neural Radiance Field for Satellite Camera [0.76146285961466]
本稿では,多面体画像(MPI)を用いたRPO(Rational Polynomial Camera)のための平面神経放射場rpcPRFを提案する。
本稿では,3次元座標と画像の間の正確な形状を学習するために,予測されたMPIを誘導するために再投影監視を利用する。
我々は、放射場の描画技術を導入することにより、深層多視点ステレオ法から密集深度監視の厳密な要求を取り除いた。
論文 参考訳(メタデータ) (2023-10-11T04:05:11Z) - Multi-Space Neural Radiance Fields [74.46513422075438]
既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。
並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。
提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
論文 参考訳(メタデータ) (2023-05-07T13:11:07Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - VMRF: View Matching Neural Radiance Fields [57.93631771072756]
VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。
VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。
特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
論文 参考訳(メタデータ) (2022-07-06T12:26:40Z) - Sat-NeRF: Learning Multi-View Satellite Photogrammetry With Transient
Objects and Shadow Modeling Using RPC Cameras [10.269997499911668]
サテライトニューラルレージアンスフィールド(Sat-NeRF)は,野生のマルチビュー衛星写真グラムを学習するための新しいエンドツーエンドモデルである。
Sat-NeRFは、ニューラルレンダリングの最新トレンドとネイティブ衛星カメラモデルを組み合わせたものだ。
我々は,異なる場所からのWorldView-3画像を用いてSat-NeRFを評価し,衛星カメラモデルにバンドル調整を適用する利点を強調した。
論文 参考訳(メタデータ) (2022-03-16T19:18:46Z) - Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。
提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。
これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文 参考訳(メタデータ) (2021-11-29T15:58:16Z) - Vision-based Neural Scene Representations for Spacecraft [1.0323063834827415]
高度なミッションコンセプトでは、宇宙船は内部の近くの軌道上の物体のポーズと形状をモデル化する必要があります。
ニューラルシーン表現における最近の研究は、光学画像から汎用的な3次元シーンを推定する有望な結果を示している。
NeRFとGRAFのポテンシャルを比較し、評価し、新しいビューをレンダリングし、2つの異なる宇宙船の3D形状を抽出します。
論文 参考訳(メタデータ) (2021-05-11T08:35:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。