論文の概要: Rational Polynomial Camera Model Warping for Deep Learning Based
Satellite Multi-View Stereo Matching
- arxiv url: http://arxiv.org/abs/2109.11121v1
- Date: Thu, 23 Sep 2021 03:22:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-24 14:53:39.978899
- Title: Rational Polynomial Camera Model Warping for Deep Learning Based
Satellite Multi-View Stereo Matching
- Title（参考訳）: 深層学習に基づく衛星多視点ステレオマッチングのための有理多項式カメラモデルウォーピング
- Authors: Jian Gao, Jin Liu, Shunping Ji
- Abstract要約: 本研究では,大規模かつ広範囲な地球表面再構成のための深層学習ベースの衛星MVS (SatMVS) フレームワークを提案する。
また、TLC SatMVSデータセットと呼ばれる5195120$5120画像からなる大規模な衛星画像も導入した。
- 参考スコア（独自算出の注目度）: 8.681774354147466
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Satellite multi-view stereo (MVS) imagery is particularly suited for
large-scale Earth surface reconstruction. Differing from the perspective camera
model (pin-hole model) that is commonly used for close-range and aerial
cameras, the cubic rational polynomial camera (RPC) model is the mainstream
model for push-broom linear-array satellite cameras. However, the homography
warping used in the prevailing learning based MVS methods is only applicable to
pin-hole cameras. In order to apply the SOTA learning based MVS technology to
the satellite MVS task for large-scale Earth surface reconstruction, RPC
warping should be considered. In this work, we propose, for the first time, a
rigorous RPC warping module. The rational polynomial coefficients are recorded
as a tensor, and the RPC warping is formulated as a series of tensor
transformations. Based on the RPC warping, we propose the deep learning based
satellite MVS (SatMVS) framework for large-scale and wide depth range Earth
surface reconstruction. We also introduce a large-scale satellite image dataset
consisting of 519 5120${\times}$5120 images, which we call the TLC SatMVS
dataset. The satellite images were acquired from a three-line camera (TLC) that
catches triple-view images simultaneously, forming a valuable supplement to the
existing open-source WorldView-3 datasets with single-scanline images.
Experiments show that the proposed RPC warping module and the SatMVS framework
can achieve a superior reconstruction accuracy compared to the pin-hole fitting
method and conventional MVS methods. Code and data are available at
https://github.com/WHU-GPCV/SatMVS.
- Abstract（参考訳）: 衛星マルチビューステレオ(MVS)画像は、特に大規模な地球表面の再構成に適している。
近距離および空中カメラで一般的に使用される遠近法カメラモデル(ピンホールモデル)とは異なり、立方体有理多項式カメラ(rpc)モデルは、プッシュ・ブルーのリニアアレイ衛星カメラの主流モデルである。
しかし、一般的な学習ベースのmvs法で使われるホモグラフィウォーピングはピンホールカメラにのみ適用できる。
衛星MVSタスクにSOTA学習に基づくMVS技術を適用して地球表面の大規模再構築を行うためには,RPCワープを考慮すべきである。
本研究では,厳格なRPCワープモジュールを初めて提案する。
有理多項式係数はテンソルとして記録され、RPCワープは一連のテンソル変換として定式化される。
RPCワープに基づく大規模・広域地球表面再構成のための深層学習ベースの衛星MVS(SatMVS)フレームワークを提案する。
また、TLC SatMVSデータセットと呼ばれる5195120${\times}$5120の画像からなる大規模な衛星画像データセットも導入した。
衛星画像は3点カメラ(TLC)から取得され、同時に3点ビューの画像を捉え、既存のオープンソースのWorldView-3データセットに単一のスキャン画像で価値あるサプリメントを形成した。
実験により,提案したRPC整流モジュールと SatMVS フレームワークはピンホールフィッティング法や従来のMVS法よりも優れた再構成精度が得られることが示された。
コードとデータはhttps://github.com/whu-gpcv/satmvsで入手できる。
関連論文リスト
- DiffusionSat: A Generative Foundation Model for Satellite Imagery [63.2807119794691]
現在、DiffusionSatは、現在利用可能な大規模な高解像度リモートセンシングデータセットのコレクションに基づいてトレーニングされている、最大の生成基盤モデルである。
提案手法は, リアルタイムなサンプルを作成し, 時間生成, マルチスペクトル入力の超解像, インペイントなどの複数の生成課題を解くのに利用できる。
論文 参考訳（メタデータ） (2023-12-06T16:53:17Z) - rpcPRF: Generalizable MPI Neural Radiance Field for Satellite Camera [0.76146285961466]
本稿では,多面体画像(MPI)を用いたRPO(Rational Polynomial Camera)のための平面神経放射場rpcPRFを提案する。
本稿では,3次元座標と画像の間の正確な形状を学習するために,予測されたMPIを誘導するために再投影監視を利用する。
我々は、放射場の描画技術を導入することにより、深層多視点ステレオ法から密集深度監視の厳密な要求を取り除いた。
論文 参考訳（メタデータ） (2023-10-11T04:05:11Z) - RelPose: Predicting Probabilistic Relative Rotation for Single Objects
in the Wild [73.1276968007689]
本稿では、任意のオブジェクトの複数の画像からカメラ視点を推定するデータ駆動手法について述べる。
本手法は, 画像の鮮明さから, 最先端のSfM法とSLAM法より優れていることを示す。
論文 参考訳（メタデータ） (2022-08-11T17:59:59Z) - Satellite Image Based Cross-view Localization for Autonomous Vehicle [59.72040418584396]
本稿では,市販の高精細衛星画像を使用可能な地図として利用することにより,良好な精度でクロスビュー車両のローカライゼーションを実現することができることを示す。
本手法はKITTIとFord Multi-AVの季節データセットを地上ビューとして,Google Mapsを衛星ビューとして検証した。
論文 参考訳（メタデータ） (2022-07-27T13:16:39Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳（メタデータ） (2021-10-11T20:20:03Z) - Automatic Stockpile Volume Monitoring using Multi-view Stereo from
SkySat Imagery [7.0349768355860895]
SkySatのデータから大きな3Dモデルを構築し比較する課題は、複数のビューに関連するカメラモデル間の矛盾を修正することです。
部分的に重複するビューの集合で覆われた動的領域を扱うことができる日付型RPCの改良を提案する。
精巧なRPCは、各日付で異なるステレオペアから複数の一貫性のあるデジタルサーフェスモデルを再構築するために使用されます。
論文 参考訳（メタデータ） (2021-03-01T12:18:32Z) - 3D Surface Reconstruction From Multi-Date Satellite Images [11.84274417463238]
本研究では,複数の衛星画像から点雲を再構成することのできるStructure from Motion (SfM) ベースのパイプラインの拡張を提案する。
衛星画像のコンテキストにおいて、最先端メッシュ再構成アルゴリズムを利用するために必須となるいくつかのステップについて、詳細な説明を提供する。
提案したパイプラインと現在のメッシュアルゴリズムが組み合わさって、完全性と中央値エラーの点で最先端のクラウド再構築アルゴリズムより優れていることを示す。
論文 参考訳（メタデータ） (2021-02-04T09:23:21Z) - Photometric Multi-View Mesh Refinement for High-Resolution Satellite
Images [24.245977127434212]
最先端の復元手法は一般的に2.5次元の標高データを生成する。
マルチビュー衛星画像から全3次元表面メッシュを復元する手法を提案する。
論文 参考訳（メタデータ） (2020-05-10T20:37:54Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳（メタデータ） (2020-04-05T12:52:29Z) - A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view
Stereo Reconstruction from An Open Aerial Dataset [6.319667056655425]
我々は、WHUデータセットと呼ばれる合成空中データセットを提案し、これが最初の大規模多視点空中データセットである。
広帯域深度推定のための新しいネットワークRED-Netについても紹介する。
実験の結果,提案手法は現在のMVS法を50%以上の平均絶対誤差(MAE)で上回り,メモリと計算コストを削減できた。
論文 参考訳（メタデータ） (2020-03-02T03:04:13Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳（メタデータ） (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。