論文の概要: FusionRF: High-Fidelity Satellite Neural Radiance Fields from Multispectral and Panchromatic Acquisitions

• arxiv url: http://arxiv.org/abs/2409.15132v2
• Date: Fri, 28 Mar 2025 21:01:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:28:28.376567
• Title: FusionRF: High-Fidelity Satellite Neural Radiance Fields from Multispectral and Panchromatic Acquisitions
• Title（参考訳）: FusionRF:マルチスペクトルおよびパンクロマティック取得からの高密度衛星ニューラルレイガンス場
• Authors: Michael Sprintson, Rama Chellappa, Cheng Peng,
• Abstract要約: 衛星マルチスペクトルおよびパンクロマティック画像からのデジタル表面再構成のための新しいフレームワークであるFusionRFを紹介する。 その結果,FusionRFは深度復元精度を平均17%向上し,鋭いトレーニングと新規な視点を呈することがわかった。
• 参考スコア（独自算出の注目度）: 38.55830312265355
• License:
• Abstract: We introduce FusionRF, a novel framework for digital surface reconstruction from satellite multispectral and panchromatic images. Current work has demonstrated the increased accuracy of neural photogrammetry for surface reconstruction from optical satellite images compared to algorithmic methods. Common satellites produce both a panchromatic and multispectral image, which contain high spatial and spectral information respectively. Current neural reconstruction methods require multispectral images to be upsampled with a pansharpening method using the spatial data in the panchromatic image. However, these methods may introduce biases and hallucinations due to domain gaps. FusionRF introduces joint image fusion during optimization through a novel cross-resolution kernel that learns to resolve spatial resolution loss present in multispectral images. As input, FusionRF accepts the original multispectral and panchromatic data, eliminating the need for image preprocessing. FusionRF also leverages multimodal appearance embeddings that encode the image characteristics of each modality and view within a uniform representation. By optimizing on both modalities, FusionRF learns to fuse image modalities while performing reconstruction tasks and eliminates the need for a pansharpening preprocessing step. We evaluate our method on multispectral and panchromatic satellite images from the WorldView-3 satellite in various locations, and show that FusionRF provides an average of 17% improvement in depth reconstruction accuracy, and renders sharp training and novel views.
• Abstract（参考訳）: 衛星マルチスペクトルおよびパンクロマティック画像からのデジタル表面再構成のための新しいフレームワークであるFusionRFを紹介する。 近年の研究では、光学衛星画像の表面再構成のためのニューラルフォトグラメトリの精度が、アルゴリズムによる手法と比較して向上していることが示されている。 共通の衛星は、それぞれ高い空間情報とスペクトル情報を含む、パンクロマティック画像とマルチスペクトル画像の両方を生成する。 現在のニューラルリコンストラクション法では、パンクロマティック画像の空間データを用いて、マルチスペクトル画像をパンシャープ法でアップサンプリングする必要がある。 しかし、これらの手法はドメインギャップによるバイアスや幻覚をもたらす可能性がある。 FusionRFは、マルチスペクトル画像に存在する空間分解能損失を解決するために、新しいクロスレゾリューションカーネルを通じて、最適化中に共同画像融合を導入する。 入力として、FusionRFは元のマルチスペクトルおよびパンクロマチックデータを受け入れ、画像前処理の必要性をなくす。 FusionRFはまた、一様表現内の各モダリティとビューのイメージ特性をエンコードするマルチモーダルな外観埋め込みを利用する。 両方のモダリティを最適化することにより、FusionRFは再構成タスクを実行しながら画像モダリティをフューズすることを学び、パンシャーピング前処理ステップを不要にする。 我々は,WorldView-3衛星から得られたマルチスペクトル・パンクロマティック衛星画像について,各地点で評価し,FusionRFが平均17%の深度再構成精度向上を実現し,鋭いトレーニングと新しい視点を呈することを示す。

関連論文リスト

• Multi-view 3D surface reconstruction from SAR images by inverse rendering [4.964816143841665]
  本稿では,制約のない合成開口レーダ(SAR)画像から3次元再構成を行うための新しい逆レンダリング手法を提案する。 本手法は,SAR画像における幾何学的不均一性を利用する可能性を示し,マルチセンサデータ融合の道を開く。
  論文  参考訳（メタデータ） (2025-02-14T13:19:32Z)
• RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
  本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
  論文  参考訳（メタデータ） (2024-10-08T17:40:01Z)
• ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
  本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。 提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。 本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:58Z)
• NePF: Neural Photon Field for Single-Stage Inverse Rendering [6.977356702921476]
  多視点画像の逆レンダリングに対処するために,新しい単一ステージフレームワークNePF(Neural Photon Field)を提案する。 NePFは、神経暗黙表面の重み関数の背後にある物理的意味を完全に活用することで、この統一を実現する。 我々は本手法を実データと合成データの両方で評価する。
  論文  参考訳（メタデータ） (2023-11-20T06:15:46Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Enhancement of Novel View Synthesis Using Omnidirectional Image Completion [61.78187618370681]
  ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。 実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
  論文  参考訳（メタデータ） (2022-03-18T13:49:25Z)
• Interpretable Deep Multimodal Image Super-Resolution [23.48305854574444]
  マルチモーダル画像超解像(Multimodal image super- resolution, SR)は、高分解能画像の再構成である。 本稿では,結合した疎結合を組み込んだマルチモーダルディープネットワーク設計を行い,他のモーダルからの情報を再構成プロセスに効果的に融合させる。
  論文  参考訳（メタデータ） (2020-09-07T14:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。