論文の概要: rpcPRF: Generalizable MPI Neural Radiance Field for Satellite Camera
- arxiv url: http://arxiv.org/abs/2310.07179v1
- Date: Wed, 11 Oct 2023 04:05:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 00:37:45.270399
- Title: rpcPRF: Generalizable MPI Neural Radiance Field for Satellite Camera
- Title（参考訳）: rpcPRF:衛星カメラのための一般化可能なMPIニューラル放射場
- Authors: Tongtong Zhang, Yuanxiang Li
- Abstract要約: 本稿では,多面体画像(MPI)を用いたRPO(Rational Polynomial Camera)のための平面神経放射場rpcPRFを提案する。
本稿では,3次元座標と画像の間の正確な形状を学習するために,予測されたMPIを誘導するために再投影監視を利用する。
我々は、放射場の描画技術を導入することにより、深層多視点ステレオ法から密集深度監視の厳密な要求を取り除いた。
- 参考スコア（独自算出の注目度）: 0.76146285961466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novel view synthesis of satellite images holds a wide range of practical
applications. While recent advances in the Neural Radiance Field have
predominantly targeted pin-hole cameras, and models for satellite cameras often
demand sufficient input views. This paper presents rpcPRF, a Multiplane Images
(MPI) based Planar neural Radiance Field for Rational Polynomial Camera (RPC).
Unlike coordinate-based neural radiance fields in need of sufficient views of
one scene, our model is applicable to single or few inputs and performs well on
images from unseen scenes. To enable generalization across scenes, we propose
to use reprojection supervision to induce the predicted MPI to learn the
correct geometry between the 3D coordinates and the images. Moreover, we remove
the stringent requirement of dense depth supervision from deep
multiview-stereo-based methods by introducing rendering techniques of radiance
fields. rpcPRF combines the superiority of implicit representations and the
advantages of the RPC model, to capture the continuous altitude space while
learning the 3D structure. Given an RGB image and its corresponding RPC, the
end-to-end model learns to synthesize the novel view with a new RPC and
reconstruct the altitude of the scene. When multiple views are provided as
inputs, rpcPRF exerts extra supervision provided by the extra views. On the TLC
dataset from ZY-3, and the SatMVS3D dataset with urban scenes from WV-3, rpcPRF
outperforms state-of-the-art nerf-based methods by a significant margin in
terms of image fidelity, reconstruction accuracy, and efficiency, for both
single-view and multiview task.
- Abstract（参考訳）: 衛星画像の新しいビュー合成は、幅広い実用的な応用をもたらす。
ニューラル・ラミアンス・フィールドの最近の進歩はピンホールカメラを主にターゲットとしているが、衛星カメラのモデルは十分な入力ビューを必要とすることが多い。
本稿では,多平面画像(mpi)を用いた有理多項式カメラ(rpc)用平面ニューラルネットワーク放射場rpcprfを提案する。
1つのシーンの十分なビューを必要とする座標ベースのニューラルレイディアンスフィールドとは異なり、我々のモデルはシングルまたは少数の入力に適用でき、見えないシーンの画像に対して良好に動作する。
そこで本研究では,3次元座標と画像間の正確な形状を学習するために,再投影監視を用いて予測MPIを誘導する手法を提案する。
さらに,放射場の描画手法を導入することにより,深層多視点ステレオ法から密集深度監視の厳密な要件を取り除いた。
rpcPRFは3D構造を学習しながら連続的な高度空間を捉えるために、暗黙表現の優位性とRPCモデルの優位性を組み合わせる。
RGB画像とその対応するRPCが与えられた後、エンド・ツー・エンド・モデルは新しいビューを新しいRPCで合成し、シーンの高度を再構築する。
複数のビューが入力として提供される場合、rpcPRFは追加のビューによって提供される追加の監視を行う。
ZY-3のTLCデータセットと、WV-3の都市シーンによるSatMVS3Dデータセットでは、rpcPRFは、単一ビューとマルチビューの両方のタスクにおいて、画像の忠実度、再構成精度、効率の点で、最先端のnerfベースの手法よりも優れたパフォーマンスを保っている。
関連論文リスト
- psPRF:Pansharpening Planar Neural Radiance Field for Generalized 3D Reconstruction Satellite Imagery [0.6445605125467574]
現在の衛星用NeRF変種のほとんどは特定のシーンのために設計されており、新しい幾何学への一般化には至っていない。
本稿では,低分解能RGB(LR-RGB)と高分解能パノクロマティック(HR-PAN)の画像にRational Polynomial Camera(RPC)を併用した平面ニューラルレージアンスフィールドであるpsPRFを紹介する。
シーン間におけるpsRPFの一般化能力を支援するため、プロジェクションロスを採用し、強力な幾何学的自己監督を実現する。
論文 参考訳（メタデータ） (2024-06-22T02:02:32Z) - DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - MuRF: Multi-Baseline Radiance Fields [117.55811938988256]
スパースビュー合成におけるフィードフォワードアプローチであるmulti-Baseline Radiance Fields(MuRF)を提案する。
MuRFは、複数の異なるベースライン設定で最先端のパフォーマンスを達成する。
また、Mip-NeRF 360データセット上でゼロショットの一般化能力を示す。
論文 参考訳（メタデータ） (2023-12-07T18:59:56Z) - MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane
Images Blending [61.45757368117578]
本稿では,多平面画像(MPI)に基づく神経放射場のフレキシブルな表現について述べる。
MPIは、単純な定義、簡単な計算、非有界シーンを表現する強力な能力のために、NeRF学習で広く使われている。
MPIは複雑なシーンを多種多様なカメラ分布と視野方向で合成できることを示す。
論文 参考訳（メタデータ） (2023-09-30T04:36:43Z) - Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。
本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。
合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-03-03T06:32:55Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳（メタデータ） (2022-09-02T17:44:50Z) - Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。
提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。
これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文 参考訳（メタデータ） (2021-11-29T15:58:16Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-03-29T13:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。