# (参考訳) プッシュフレーム衛星画像のパララックス推定:Skysat製品からの超解像と3次元表面モデリングへの応用 [全文訳有]

Parallax estimation for push-frame satellite imagery: application to super-resolution and 3D surface modeling from Skysat products ( http://arxiv.org/abs/2102.02301v1 )

ライセンス: CC BY 4.0
J\'er\'emy Anger, Thibaud Ehret, Gabriele Facciolo(参考訳) スカイサット星座を含む最近の衛星の星座は、画像のバーストを取得することができる。 この新たな取得モードは、マルチフレーム超解像を含む最新の画像復元技術を可能にする。 バーストの取得中に衛星が移動すると、シーンの高度の変化は顕著なパララックスに変換される。 このパララックスは修復の結果を妨げている。 そこで本研究では,新しい視差推定手法を提案する。 この方法は、視運動の線形平面+パララックス分解と、全てのフレームを同時に利用するマルチフレーム光フローアルゴリズムからなる。 skysat l1a画像を用いて,高度変化を含むシーンにマルチフレームの超解像を施すには画素単位の変位が重要であり,粗い3次元表面モデルの推定にも利用できることを示す。

Recent constellations of satellites, including the Skysat constellation, are able to acquire bursts of images. This new acquisition mode allows for modern image restoration techniques, including multi-frame super-resolution. As the satellite moves during the acquisition of the burst, elevation changes in the scene translate into noticeable parallax. This parallax hinders the results of the restoration. To cope with this issue, we propose a novel parallax estimation method. The method is composed of a linear Plane+Parallax decomposition of the apparent motion and a multi-frame optical flow algorithm that exploits all frames simultaneously. Using SkySat L1A images, we show that the estimated per-pixel displacements are important for applying multi-frame super-resolution on scenes containing elevation changes and that can also be used to estimate a coarse 3D surface model.
公開日: Wed, 3 Feb 2021 21:24:22 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。


    Page: /      
1 2 0 2 b e F 3 1 2 0 2 b e F 3 0.85
] V C . ] V C。 0.79
s c [ 1 v 1 0 3 2 0 sc [ 1 v 1 0 3 2 0 0.68
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
Parallax estimation for push-frame satellite imagery: application to プッシュフレーム衛星画像のパララックス推定:その適用 0.75
super-resolution and 3D surface modeling from Skysat products Skysat製品からの超解像・3次元表面モデリング 0.74
J´er´emy Anger1,2 J ́er ́emy Anger1,2 0.35
Thibaud Ehret1 Thibaud Ehret1 0.88
Gabriele Facciolo1 Gabriele Facciolo1 0.88
1Universit´e Paris-Saclay, CNRS, ENS Paris-Saclay, Centre Borelli, France 1Universit ́e Paris-Saclay, CNRS, ENS Paris-Saclay, Centre Borelli 0.82
2Kayrros SAS 2Kayrros SAS 0.88
Abstract Recent constellations of satellites, including the Skysat constellation, are able to acquire burst of images. 概要 スカイサット星座を含む最近の衛星の星座は、大量の画像を取得することができる。 0.56
This new acquisition mode allows for modern image restoration techniques, including multiframe super-resolution. この新たな取得モードは、マルチフレーム超解像を含む最新の画像復元技術を可能にする。 0.62
As the satellite moves during the acquisition of the burst, elevation changes in the scene translate into noticeable parallax. バーストの取得中に衛星が移動すると、シーンの高度の変化は顕著なパララックスに変換される。 0.70
This parallax hinders the results of the restoration. このパララックスは修復の結果を妨げている。 0.70
To cope with this issue, we propose a novel parallax estimation method. そこで本研究では,新しい視差推定手法を提案する。 0.69
The method is composed of a linear Plane+Parallax decomposition of the apparent motion and a multi-frame optical flow algorithm that exploits all frames simultaneously. この方法は、視運動の線形平面+パララックス分解と、全てのフレームを同時に利用するマルチフレーム光フローアルゴリズムからなる。 0.77
Using SkySat L1A images, we show that the estimated perpixel displacements are important for applying multiframe super-resolution on scenes containing elevation changes and that can also be used to estimate a coarse 3D surface model. skysat l1a画像を用いて,高度変化を含むシーンにマルチフレーム超解像を施す際に,推定パーピクセル変位が重要であり,粗い3次元表面モデルの推定にも利用できることを示す。 0.77
1 Introduction Satellites play a big role in the observation of the Earth: from environmental monitoring to industry monitoring. 1 はじめに 地球観測では、環境モニタリングから産業監視まで、衛星が大きな役割を果たしています。 0.74
Many Earth monitoring applications require a good ground resolution. 多くの地球観測アプリケーションは、良好な地上解像度を必要とする。 0.59
For example, fine detection and analysis of human activity requires a resolution in the range of 30 cm to 1 m / pixel [1]. 例えば、人間の活動の細かい検出と分析には、30 cmから1 m /ピクセルの範囲の解像度が必要です[1]。 0.73
Earth observation missions were historically owned by national organisations, constructing high-cost long-term satellites. 地球観測ミッションは歴史的に国家組織が所有し、高コストの長期衛星を構築した。 0.59
Starting in the late 90’s, a sim- 90年代後半からsim- 0.44
ilar model was also adopted by actors from the private sector (e.g. アイラーモデルは民間部門(例えば)の俳優にも採用されました 0.72
IKONOS, EROS, QuickBird, WorldView). IKONOS, EROS, QuickBird, WorldView)。 0.81
But in recent years, some companies have started to offer low-cost imagery thanks to new satellite designs. しかし近年では、新しい衛星デザインのおかげで低価格な画像を提供する企業もある。 0.79
The current trend is to launch many smaller satellites to lower orbits and with a shorter lifespan, providing a wider coverage at lower cost. 現在の傾向は、多くの小型衛星を低軌道に打ち上げ、寿命を短くし、低コストで広い範囲をカバーしている。 0.74
For example, this strategy allows Planet to provide a daily revisit time on some products. 例えば、この戦略により、planetはいくつかの製品で毎日の再訪時間を提供できる。 0.71
However, lowcost satellites means that the quality of each individual image is lower, with higher noise or worse GSD for example. しかし、低コスト衛星は個々の画像の品質が低く、ノイズが高まり、gsdが悪くなることを意味する。 0.65
This means that instead of trying to obtain a 50 cm GSD from the physical design of the satellite, such resolution has to be reached using computational photography techniques such as multi-frame super-resolution. これは、衛星の物理的設計から50cmのGSDを得る代わりに、マルチフレーム超解像のような計算写真技術を用いてそのような解像度に到達する必要があることを意味している。 0.64
The SkySat constellation [1] from Planet follows this trend towards small but high-resolution satellites. 惑星からのskysat星座[1]は、小型だが高解像度の衛星に向かっている。 0.69
SkySats contain a full-frame sensor able to capture 40 frames per second and is operated in a push-frame mode with significant overlap between the frames. SkySatsには、毎秒40フレームをキャプチャできるフルフレームセンサーが含まれており、フレーム間の重なりが大きいプッシュフレームモードで動作します。 0.70
This means that the same point on the ground is seen in several consecutive images, which are combined with computational photography techniques. これは、地上の同じ点が複数の連続した画像で見られ、計算写真技術と組み合わせられることを意味する。 0.72
Furthermore, thanks to the design of its optical system, the images are aliased, providing the opportunity to increase the resolution by means of multi-frame super-resolution. さらに、光学系の設計のおかげで、画像はエイリアスされ、マルチフレームの超解像度によって解像度を高める機会を提供します。 0.67
A simple strategy to multi-frame super-resolution consists in aligning the frames using a rigid model (assuming that the observed scene is flat) and then fusing them [2]. マルチフレームスーパーリゾリューションへの簡単な戦略は、(観察されたシーンがフラットであると仮定する)剛性モデルを使用してフレームをアライメントし、それらを融合することである[2]。 0.73
However, because the frames are しかし、フレームはそのためです。 0.70
1 1 0.85
Reference frame W/o parallax est. 参照フレームW/oparallax est。 0.83
With parallax est. parallax est (複数形 parallax ests) 0.45
. v e d . d t s . v e d . d t s 0.85
Figure 1: Accurate parallax estimation for superresolution allows to restore finer details. 図1:超解像のための正確な視差推定により、細かい詳細を復元できます。 0.56
Top row: reference low-resolution frame, SR without parallax estimation, SR with parallax estimation using the proposed method. トップ行: 参照低解像度フレーム, パララックス推定なしSR, 提案手法を用いたパララックス推定付きSR。 0.75
Bottom row: standard deviation of the frames aligned with the estimated displacements. ボトム行: 推定した変位に対応するフレームの標準偏差。 0.70
acquired from slightly different viewpoints, when the scene contains large elevation changes the parallax effect due to surface relief becomes noticeable and can hinder the reconstruction. やや異なる視点から見ると、シーンが大きな標高変化を含むと、表面レリーフによる視差効果が顕著になり、復元を妨げる可能性がある。
訳抜け防止モード: わずかに異なる視点から得られたものです 現場の高度が大きくなると 表面のレリーフによる 視差効果が顕著になり 再建の妨げとなる。
Indeed, as noted in [3], the parallax δε is directly proportional to the elevation changes δz, inversely proportional to the altitude h of the satellite, and proportional to the distance between the viewpoints b (baseline) 実際、[3]で指摘されているように、パララックスδεは高度変化δzに直接比例しており、逆は衛星の高度hに比例し、視点b(ベースライン)間の距離に比例する。 0.77
δε ∝ b h δz. δε ・ b h δz。 0.88
(1) Since the overlapping frames are acquired with increasingly larger baselines the parallax will introduce non rigid displacements of the samples proportional to their elevation. (1) 重なり合うフレームはますます大きなベースラインで取得されるので、視差は、その上昇に比例するサンプルの非剛性変位をもたらすでしょう。 0.75
In order to avoid fusion artefacts, this parallax has to be estimated and taken into account in the super-resolution. 核融合人工物を避けるために、この視差は超解像で推定され考慮されなければなりません。 0.54
In a calibrated system (with perfectly known camera models) plus knowledge of the scene topography this displacement could be easily deduced. キャリブレーションシステム(完全に知られているカメラモデル)とシーン地形の知識では、この変位を簡単に推測できます。 0.77
However, since camera models are subject to pointing errors a solution for non-calibrated systems is needed. しかし、カメラモデルはポインティングエラーの対象となるため、校正されていないシステムのソリューションが必要です。 0.64
The problem of estimating the 3D geometry of a scene from a set of views from different angles is classic in computer vision. 異なる角度からの視点からシーンの3次元幾何学を推定する問題は、コンピュータビジョンにおいて古典的である。 0.80
It usually involves first the es- 通常、最初にesが関与する。 0.61
2 timation of the camera parameters via bundle adjustment [4], then matching across the views and triangulating the matches [5]. 2 バンドル調整 [4] によるカメラパラメータのティメンテーション、次にビューをマッチングし、マッチ [5] を三角測量する。 0.81
However, Equation (1) implies that the projective camera model can be assumed affine [6]. しかし、式(1) は射影カメラモデルがアフィン [6] を仮定できることを意味する。 0.84
In addition, because of the push-frame acquisition the correspondences between frames can be reliably estimated using optical flow methods. また、プッシュフレーム取得により、光学フロー法を用いてフレーム間の対応を確実に推定することができる。 0.73
Contributions. In this paper we propose to estimate the parallax from a burst of non-calibrated frames using a linear Plane+Parallax formulation [7], where the correspondences between frames are provided by an optical flow algorithm. 貢献。 本稿では,光フローアルゴリズムによりフレーム間の対応を提供する線形平面+パララックス定式[7]を用いて,非共役フレームのバーストからパララックスを推定する。 0.70
The frames are first aligned with respect to a common virtual plane, from which the parallax between all frames can then be estimated using a multi-frame optical flow algorithm. フレームはまず共通の仮想平面に対して整列され、そこから各フレーム間のパララックスをマルチフレーム光フローアルゴリズムを用いて推定することができる。 0.85
We show that the estimated parallax allows to improve super-resolution results on scenes with large elevation changes and moving objects as shown in Figure 1. 推定視差は、図1に示すように、大きな高度変化や移動物体のシーンにおける超解像結果を改善することを可能にします。 0.70
In addition, we show that the estimated parallax can provide coarse 3D information, even if the frames are not acquired in a stereo setting. さらに,ステレオ環境ではフレームが取得されない場合でも,推定したパララックスが粗い3D情報を提供できることを示す。 0.78
2 Related works The video product of the SkySat constellation was used in [8] to estimate a depth map. 関連作品2件 スカイサット星座のビデオ製品は[8]で深度マップを推定するために使用された。 0.79
The authors computed several low baseline disparity maps using phase correlation, which were then warped and stacked to improve the SNR of the final disparity map. 著者らは位相相関を用いていくつかの低基線不均質写像を計算し、最終不均質写像のSNRを改善するために演算および積み重ねを行った。 0.61
The warp was computed by matching the images to a reference one. ワープは画像と参照画像とをマッチングして計算された。 0.68
A similar study was also conducted in [9] with the objective of producing an elevation model also using a SkySat video product. 同様の研究は[9]でも行われ、SkySatビデオ製品を用いた標高モデルの作成が目的であった。 0.80
SkySat video products require a satellite maneuver to keep the object of interest in the frame during the video, resulting in thousands of frames available. SkySatビデオ製品は、ビデオ中にフレームに関心のあるオブジェクトを保つために衛星操作を必要とし、何千ものフレームが利用可能になります。 0.78
In contrast, our method exploits the redundancy in the L1A SkySat product, which consists of a few dozen frames for a given scene. 対照的に,本手法では,与えられたシーンに対して数十フレームのフレームからなるl1a skysat製品の冗長性を利用する。 0.70
This implies that the maximum available baseline is much smaller, resulting in a more ill-posed estimation. これは、利用可能な最大ベースラインがはるかに小さく、その結果、より不適切な推定につながることを意味します。 0.53
In [7] it is proposed a method for estimating Plane+Parallax motion from multiple views of a 3D scene. で[7] 3Dシーンの複数の視点から平面+パララックス運動を推定する手法を提案する。 0.82
The method alternates between computation of the parallax motion common to all the frames and この方法は、すべてのフレームに共通する視差運動の計算を交互に行う。 0.67
the camera epipoles. カメラのエピポールだ 0.68
For that they use a photometric constraint between the reference and all the other images. そのため、参照と他のすべての画像の間の光度制約を使用する。 0.81
Our method relies on a similar joint multiframe formulation, but since we assume affine cameras there is no need to alternate with the epipole estimation and the parallax can be directly recovered. 提案手法は, 同様の関節多フレームの定式化に依存しているが, アフィンカメラを仮定するので, エピポーラ推定と交換する必要はなく, パララックスを直接回収できる。 0.71
3 Method The inputs of the proposed method are a set of satellite images acquired in a push-frame burst (as possible by the SkySat constellation [1]) and pre-registered using a translation. 3方法 提案手法の入力は、プッシュフレームバースト(スカイサット星座[1]で可能)で取得され、翻訳を用いて事前登録された衛星画像の集合である。 0.80
The objective is to estimate the parallax in the scene. 目的は、シーン内の視差を推定することです。 0.69
In [2] an affine transform is estimated between each frame and the reference one. [2] では、各フレームと参照フレームの間でアフィン変換が推定される。 0.77
This registration is not sufficient when the scene contains large elevation changes. この登録は、シーンが大きな高度変化を含むと不十分である。 0.68
To account for these, we propose a refined model based on one affine transform per frame noted Ai and a common dense optical flow d to model the geometry of the scene. そこで本研究では,Aiに代表されるフレーム毎のアフィン変換と,そのシーンの形状をモデル化する共通密度光学フローdに基づく精巧なモデルを提案する。 0.85
3.1 Plane stabilization In this section we study how to register the frames in presence of parallax. 3.1 平面安定化 本稿では,パララックスの存在下でフレームを登録する方法について検討する。 0.63
The frames are assumed to be taken at uniform intervals and along a rectilinear trajectory and registered up to a translation. フレームは均一な間隔で、直交軌道に沿って撮影され、翻訳まで登録されます。
訳抜け防止モード: フレームは想定されます 直線軌道に沿って一定間隔で撮影され、翻訳まで登録されます。
Since the satellite is far from the scene we can assume that parallax induces a disparity translation d proportional to the height of the ground [3] and proportional to the baseline between the frames (i.e. 衛星は現場から遠く離れているので、パララックスは地上の高さに比例し、フレーム間(すなわち)の基準線に比例する不均一翻訳dを誘導すると考えることができる。 0.67
proportional to the frame number) フレーム番号に比例する 0.55
v0(x) = vi(x + i · d(x)). v0(x) = vi(x + i · d(x)) である。 0.95
(2) Equation 2 corresponds to the case of a perfectly rectified scene, where the same zero-parallax plane is always registered in the sequence vi. (2) 等式2は、同じゼロパララックス平面が常にシーケンスviに登録されている完全整列シーンの場合に対応する。 0.81
However, due to pointing errors and the limitations of the registration up to a translation, the actual model might include an additional homography Hi, which we can safely approximate by an affine transform Ai because of the distance from the satellite to the scene [6]: しかし、誤りを指摘し、翻訳までの登録の制限のために、実際のモデルには、衛星からシーンまでの距離のためにアフィン変換Aiによって安全に近似できる追加のホモグラフィーHiが含まれる可能性があります[6]。 0.70
v0(x) = vi(Ai(x + i · d(x))). v0(x) = vi(ai(x + i · d(x)) である。 0.88
(3) 3 The transforms Ai and the vector field d are unknown, and must be estimated. (3) 3 変換 Ai とベクトル体 d は未知であり、推定されなければならない。 0.82
Note that in (3) the disparity d is composed with the affinities Ai. (3) において、相違 d は親和性 Ai で構成されていることに注意。 0.58
However, since the Ai are close to translations (with Jacobian Ji close to the identity) we can safely use the following linear approximation of the previous model しかし、Aiは翻訳に近い(Jacobian Jiはアイデンティティに近い)ので、以前のモデルの次の線形近似を安全に使用できます。 0.68
v0(x) = vi(Ai(x) + Ji(i · d(x))), v0(x) = vi(Ai(x) + Ji(i · d(x))) 0.84
(4) where we assume that Ji = 1. (4) ここでは Ji = 1 と仮定する。 0.78
The advantage of this formulation is that it leads to a linear system of equations on the parameters of Ai and d. When Ai (cid:54)= 1 the linearization could still be applied but an rough estimate of Ai should be provided (for instance by aligning the frames [10]) from which the Jacobians can be extracted. この定式化の利点は、ai と d のパラメータの線形方程式系を導くことである。 ai (cid:54)= 1 の場合、線形化は依然として適用できるが、ai の粗い推定(例えば、ジャコビアンを抽出できるフレーム [10] を整列させることによって)を提供するべきである。 0.76
We now detail how our linear system is built and solved. 線形システムがどのように構築され、解決されるのかを詳細に説明します。 0.47
First, the pairwise optical flows fi are computed between the frames ui and frame u0 and thus verify the relations まず、フレームuiとフレームu0の間に対方向の光フローfiを演算し、関係性を検証する。
訳抜け防止モード: まず、一対の光フロー fi をフレーム ui とフレーム u0 の間で計算する。 関係を検証し
v0(x) = vi(fi(x)). v0(x) = vi(fi(x)) である。 0.92
(5) The flows fi provide correspondences between the frames, hence we want to factorize them as (5) フロー fi はフレーム間の対応を提供するので、それらを分解したい。 0.71
fi(x) = Ai(x) + i · d(x). fi(x) = ai(x) + i · d(x) である。 0.85
(6) The set of equations associated to all the flows form an over-determined linear system that can be solved by least squares minimization. (6) すべてのフローに関連する方程式の集合は、最小2乗の最小化で解ける過決定線型系を形成する。 0.82
We solve for all the Ai and a single d using the Conjugate Gradient method. 共役勾配法を用いてすべての Ai と 1 の d を解く。 0.58
In order to speed-up this optimization, the linear system can be sub-sampled (e.g. この最適化を高速化するために、線形系をサブサンプリング(例)することができる。 0.66
by a factor 4, thus considering only 1/16 equations). したがって、1/16の方程式しか考慮しない)。 0.64
At this point the flow d shows some part of the parallax, but is not very precise due to the noisy nature of each individual flows fi. この時点では、流れdは視差の一部を示しているが、個々の流れfiのノイズのため、それほど正確ではない。 0.65
However, the affine transformations Ai allow to align the frames to a common plane, which is necessary for the next step: parallax estimation. しかし、アフィン変換Aiは、フレームを共通の平面に整列させることができ、次のステップに必要なのはパララックス推定である。 0.61
3.2 Parallax estimation 3.2 パララックス推定 0.59
As a result of the previous step, the affine transforms Ai can be used to align the frames vi on a common plane. 前のステップの結果として、アフィン変換Aiは、共通の平面上のフレームviを整列するのに使用することができる。 0.66
For the parallax estimation step, we propose 視差推定のステップについて、提案します。 0.55
a multi-frame optical flow method, allowing to fully exploit all the frames to produce a single disparity map. 複数フレームの光学フロー法で、すべてのフレームをフル活用して単一の不均一マップを生成することができる。 0.64
3D surface modeling. 3D表面モデリング。 0.87
We show that our parallax estimation method allows for precise displacement estimation between the input full-frame images. このパララックス推定手法により,入力されたフルフレーム画像間の正確な変位推定が可能であることを示す。 0.60
The proposed method is an extension of the robust optical flow method [11] to multiple frames assuming a constant motion model. 提案手法は,ロバストな光フロー法 [11] を定動モデルとして複数フレームに拡張したものである。 0.83
The flow is computed using all the images at the same time, contrary to a regular optical flow that is computed between pairs of frames. フローは、フレームのペア間で計算される通常の光学フローとは対照的に、すべての画像を使って同時に計算される。 0.80
As before, we consider a set of N frames {v−N/2, . 前述のように、N フレームの集合 {v−N/2, を考える。 0.68
. . , v0, . . . . 、v0、。 . 0.81
. , vN/2} such that v0 corresponds to the reference frame and that the frames are now aligned on a common plane using the transforms Ai. . v0 が参照フレームに対応し、フレームが変換 Ai を用いて共通平面上に整列されるような vN/2} である。 0.83
Given that the movement computed corresponds only to the parallax effect, we assume that the optical flow between the frame 0 and the ith frame, w0,i is linearly proportional to the optical flow from 0 to 1 such that w0,i = i · w0,1. 計算された運動がパララックス効果のみに対応することを仮定すると、フレーム0と第1フレームの間の光の流れは、w0,i = i · w0,1 となるような0から1までの光の流れに線形に比例する。 0.88
This indicates that a single optical flow capturing the parallax effect is able to align each frame to the reference. これは、視差効果を捉えた単一の光学フローが、各フレームを基準に整列できることを示しています。 0.63
Let d be the optical flow to be estimated. 推定する光の流れを d とする。 0.66
The energy of the robust optical flow method [11] for a single pair (v0, vi) is 単一対(v0, vi)のロバストな光学フロー法[11]のエネルギーは以下の通りです。 0.76
Ψ(vi(Aix + i · d) − v0(A0x)) Ψ(∇vi(Aix + i · d) − ∇v0(A0x)) ψ(vi(aix + i · d) − v0(a0x)) ψ(svi(aix + i · d) − v0(a0x)) 0.87
Ψ((cid:112)(|∇dx|2 + |∇dy|2)) てん((cid:112)(|-dx|2 + |-dy|2) 0.72
(7) Ei(d) = (7) Ei(d) = 0.85
(cid:88) (cid:88) (cid:88) (cid:88)(cid:88) 0.91
x x x √ + γ x x x √ + γ 0.85
+ α x2 + 2 and dx (respectively dy) corwith Ψ(x) = responds to the x (respectively y) component of the optical flow. + α x2 + s2 と dx (respectively dy) corwith ψ(x) = は光流の x (respectively y) 成分に反応する。 0.84
Finding d that fits the best all frames corresponds then to minimizing the following energy 最高のすべてのフレームに適合するdを見つけると、以下のエネルギーを最小化する。 0.71
E(d) = 1 N N/2(cid:88) E(d) = 1N N/2(cid:88) 0.76
i=−N/2 Ei(d), i=−N/2 Ei (複数形 Eis) 0.52
(8) which relaxation [11]. (8) リラックス[11]します 0.73
is optimized using successive は 最適化 利用 歴代 0.62
over- 4 Experiments In this section we validate the proposed method on two applications: multi-frame super-resolution and 越し 4つの実験 本節では,提案手法を,マルチフレーム・スーパーレゾリューションと2つのアプリケーションで検証する。 0.65
4 4.1 Application to super-resolution 4 4.1 超解像への応用 0.70
We first demonstrate the proposed method on a multi-frame super-resolution from SkySat burst. 提案手法をSkySatバーストからのマルチフレームスーパーリゾリューションで最初に実証した。 0.73
Multi-frame super-resolution usually relies on a registration step, which has to be as precise as possible. マルチフレームのスーパーレゾリューションは通常、可能な限り正確な登録ステップに依存する。 0.64
For this reason, it is convenient to estimate global parametrized transform (e.g. このため、グローバルパラメータ化変換(例えば)を推定することは便利である。 0.82
affine transform as in [2]). アフィン変換([2]) 0.40
However, in the presence of abrupt elevation changes in the scene, the change of viewpoint of the satellite between frames induces a parallax motion. しかし、現場における急激な標高変化の存在下では、フレーム間の衛星の視点の変化はパララックス運動を引き起こす。 0.74
As we have seen, such parallax motion must be estimated locally. 視差運動は局所的に推定されなければならない。 0.53
We compare the multi-frame super-resolution method of [2] without and with our parallax estimation method. パララックス推定法を使わずに [2] のマルチフレーム超解法を比較した。 0.68
Figure 1 shows the result of the two methods on images of an open pit mine near Sahuarita AZ. 図1は、Sahuarita AZ近くのオープンピット鉱山の画像上の2つの方法の結果を示しています。 0.79
We observe that the rigid registration exhibits artefacts due to the elevation change in the scene, whereas the proposed registration is able to retrieve fine details. 厳密な登録はシーンの高度変化によるアーチファクトを示すのに対し,提案した登録は細かな詳細を検索することができる。 0.75
Furthermore, this figure also shows the temporal standard deviation of the aligned stack of images (interpolated with splines of order 5). さらに、この図はまた、整列された画像のスタックの時間的標準偏差(順5のスプラインで補間される)を示す。 0.70
As the rigid registration is not able to register local structures, the temporal standard deviation is high around such structures. 厳密な登録は局所的な構造を登録できないため、時間的標準偏差はそのような構造の周りに高い。 0.77
Instead, the proposed method successfully minimizes this measure. その代わり、提案手法はこの尺度を最小化することに成功している。 0.52
For a quantitative comparison, the average of the temporal standard deviation are reported in Table 1. 定量的比較では、時間標準偏差の平均は表1に記載されている。 0.82
We observe that the standard deviation is lower when using a low optical flow regularization α, which is important of the context of super-resolution. 超解像の文脈において重要となる低光流正規化αを用いた場合、標準偏差は低いことが観察される。 0.78
Moving objects. オブジェクトの移動。 0.86
Objects that have a constant speed are also captured by the multi-frame optical flow. 一定速度の物体も多フレーム光流によって捕捉される。 0.74
In this case, the flow can be used to compute the speed of the objects [9], as well as to provide accurate displacements for the super-resolution algorithm. この場合、フローはオブジェクト[9]の速度を計算したり、超解像アルゴリズムの正確な変位を与えるために使用することができる。 0.69
Figure 2 shows two super-resolution results, with and without parallax handling (α = 10). 図2はパララックス処理(α = 10)の2つの超分解能結果を示している。 0.70
When fusing images only using global transforms, the moving objects are accumulated at incorrect positions, 大域変換のみを用いて画像を融合する場合、移動物体は間違った位置で蓄積される。 0.65
Table 1: Comparison of the average standard deviation of the aligned stacks on three locations. 表1: 3つの場所におけるアライメントスタックの平均標準偏差の比較。 0.80
Rigid transform α = 10 リジッド変換 α = 10 0.74
α = 60 Proposed Sahuarita Morenci Chicago α = 60 提案 Sahuarita Morenci Chicago 0.80
0.41795 0.45282 0.52539 0.41795 0.45282 0.52539 0.47
0.34511 0.42532 0.45405 0.34511 0.42532 0.45405 0.47
0.34638 0.43164 0.47601 0.34638 0.43164 0.47601 0.47
Figure 3: Qualitative comparison between the result of our coarse 3D modeling and the DSM result of S2P [5]. 図3: 粗い3Dモデリングの結果とS2P[5]のDSM結果の定性比較。 0.70
Reference frame W/o parallax est. 参照フレームW/oparallax est。 0.83
With parallax est. parallax est (複数形 parallax ests) 0.45
5 Conclusion Figure 2: Parallax estimation allows to register moving objects and remove ghosting artifacts. 5 結論 図2: パララックス推定は、動くオブジェクトを登録し、ゴーストするアーティファクトを削除します。 0.66
resulting in ghosting artifacts. ゴーストアーティファクトが生まれます 0.40
4.2 Application to 3D surface model- 4.2 3次元表面モデルへの適用- 0.64
ing Per-pixel registration using plane stabilization and multi-frame optical flow provides accurate displacement for each pixel. ing 平面安定化と多フレーム光流を用いた画素単位の登録は,各画素に正確な変位を与える。 0.73
This displacement is proportional to the elevation of the scene (up-to the choice of the plane by the stabilization), and thus gives a coarse estimation of the elevation model. この変位はシーンの標高に比例し(安定化によって平面の選択に上昇する)、それゆえ、標高モデルの粗い推定を与える。
訳抜け防止モード: この変位は、シーンの上昇(安定化による平面の選択への上昇)に比例する。 このようにして、標高モデルの粗さを推定します。
In order to obtain a smoother result, we set a higher regularization weight of α = 60 when estimating the multiframe optical flow for the application of coarse 3D modeling. よりスムースな結果を得るために, 粗い3次元モデリングの応用のために, マルチフレーム光フローを推定する場合, より高いα = 60 の正則化重量を設定する。 0.78
Figure 3 shows the resulting parallax estimation on a large open-pit mine near Morenci AZ. 図3はモレンチ AZ 近くの大きな露天掘り鉱山でのパララックス推定の結果を示している。 0.68
This result is obtained from the multi-frame optical flow estimated using 35 consecutive L1A frames. この結果は35個の連続L1Aフレームを用いて推定した多フレーム光フローから得られる。 0.65
We compare our result with a DSM estimated using S2P [5] from the L1B frames acquired in tri-stereo configuration. 我々は,3ステレオ構成で得られたL1BフレームからS2P[5]を用いて推定したDSMと比較した。 0.60
While the proposed reconstruction is very coarse, we can identify the main 3D features. 提案した再構成は非常に粗いが,主な3次元特徴を同定できる。 0.76
5 We proposed a novel parallax estimation method from SkySat images. 5 我々はSkySat画像から新しいパララックス推定法を提案する。 0.77
The method is able to estimate precise per-pixel displacements. この手法は画素ごとの正確な変位を推定することができる。 0.56
When used along a multi-frame super-resolution algorithm, the proposed method allows to recover more details and contain less artefacts. マルチフレームのスーパーレゾリューションアルゴリズムで使用する場合,提案手法ではより詳細な情報を復元し,アーティファクトを少なくできる。 0.73
Moreover, we showed that parallax estimation from a single burst can be used as a coarse alternative to 3D reconstruction from stereo pairs. さらに,単発バーストからの視差推定をステレオペアからの3次元再構成の粗い代替として利用できることを示した。 0.80
Using images with a small baseline to reconstruct the 3D as we propose is a very ill-posed problem, and our method could probably benefit from more advanced optical flow priors. 私たちが提案する3dの再構成に小さなベースラインを持つ画像を使うことは、非常に不適切な問題であり、より高度な光学フローの利点があるかもしれない。
訳抜け防止モード: ベースラインの小さい画像を用いて3Dを再構築する 非常に病気である - 仮定された問題、そして 我々の方法は もっと先進的な光の流れの 恩恵を受けるかもしれない
Future works will focus on reducing the computational of the method, for instance using a faster optical flow implementation. 今後の研究は、例えばより高速な光フロー実装を使った方法での計算の削減に重点を置いている。
訳抜け防止モード: 今後の作業は 例えば、より高速な光フロー実装を使って、メソッドの計算を削減します。
Acknowledgements Work partly financed by IDEX Paris-Saclay IDI 2016, ANR-11-IDEX-0003-02, Office of Naval research grant N00014-17-1-2552, DGA Astrid project (cid:28) filmer la Terre (cid:29) noANR-17-ASTR-001301 , MENRT. 認識 IDEX Paris-Saclay IDI 2016 ANR-11-IDEX-0003-02, Department of Naval research grant N00014-17-1-2552, DGA Astrid Project (cid:28) filmer la Terre (cid:29) noANR-17-ASTR-001301 , MENRT. 0.60
This work was performed using HPC resources from GENCI–IDRIS (grant 2020AD011011795). この研究はgenCI-IDRIS (grant 2020AD011011795)のHPC資源を用いて行われた。 0.59
We thank Planet for providing the L1A SkySat images. L1A SkySatの画像を提供してくれてありがとう。 0.57
References [1] K. Murthy, M. Shearn, B. D. Smiley, A. H. Chau, J. Levine, and M. D. Robinson, “Skysat1: very high-resolution imagery from a small 参考文献 [1] K. Murthy, M. Shearn, B. D. Smiley, A. H. Chau, J. Levine, M. D. Robinson, “Skysat1: very high- resolution image from a small. 0.75
satellite,” Generation Satellites, 2014. 人工衛星(ジェネレーションサテライト)、2014年。 0.64
in Sensors, Systems, and Next- センサー、システム、そして次に 0.71
[2] J. Anger, T. Ehret, C. de Franchis, and G. Fac“Fast and accurate multi-frame super- [2]J。 Anger, T. Ehret, C. de Franchis, and G. Fac”Fast and accurate multi-frame super-- 0.79
ciolo, resolution of satellite images.,” ISPRS, 2020. ciolo, resolution of satellite images.” isprs, 2020。 0.71
[3] J. Delon and B. Roug´e, “Small baseline stereovision,” Journal of Mathematical Imaging and Vision, 2007. 3] J. Delon と B. Roug ́e, "Small baseline stereovision", Journal of Mathematical Imaging and Vision, 2007。 0.87
[4] B. Triggs, “Plane+ parallax, tensors and factor- 4] B. Triggs, "Plane+ parallax, Tenor and factor"- 0.90
ization,” in ECCV, 2000. とECCVは2000年に発表した。 0.58
[5] C. De Franchis, E. Meinhardt-Llopis, J. Michel, J.-M. Morel, and G. Facciolo, “An automatic and modular stereo pipeline for pushbroom images,” in ISPRS, 2014. C. De Franchis, E. Meinhardt-Llopis, J. Michel, J.-M. Morel, G. Facciolo, “An automatic and modular stereo pipeline for pushbroom images” ISPRS, 2014年。 0.87
[6] C. de Franchis, E. Meinhardt-Llopis, J. Michel, “On stereoin ICIP, C. de Franchis, E. Meinhardt-Llopis, J. Michel, “On stereoin ICIP, 0.87
J.-M. Morel, and G. Facciolo, rectification of pushbroom images,” 2014. J.-M. Morel, and G. Facciolo, rectification of pushbroom images”. 2014年。 0.87
[7] M. Irani, P. Anandan, and M. Cohen, 7] M. Irani、P. Anandan、M. Cohen。 0.78
“Direct recovery of planar-parallax from multiple frames,” Pattern Analysis and Machine Intelligence, 2002. マルチフレームからの平面パララックスの直接回復”パターン分析とマシンインテリジェンス、2002年。 0.73
[8] X. Wan, J. Liu, H. Yan, G. L. Morgan, and T. Sun, “3D super resolution scene depth reconstruction based on skysat video image sequences,” in IGARSS, 2016. X. Wan, J. Liu, H. Yan, G. L. Morgan, T. Sun, “3D Super resolution scene depth reconstruction based on skysat video image sequences” in IGARSS, 2016 0.81
[9] P. d’Angelo, G. Kuschk, and P. Reinartz, “Evaluation of skybox video and still image products,” ISPRS Archives, 2014. 9] p. d’angelo, g. kuschk, p. reinartz, “evaluation of skybox video and still image products”. isprs archives, 2014年4月1日閲覧。 0.81
[10] T. Briand, G. Facciolo, and J. S´anchez, “Improvements of the Inverse Compositional Algorithm for Parametric Motion Estimation,” IPOL, 2018. 10] T. Briand, G. Facciolo, J. S anchez, “Improvements of the Inverse compositional Algorithm for Parametric Motion Estimation”, IPOL, 2018. 0.84
[11] J. S´anchez P´erez, N. Monz´on L´opez, and A. Salgado de la Nuez, “Robust Optical Flow Estimation,” IPOL, 2013. J.S.anchez P ́erez, N. Monz ́on L ́opez, and A. Salgado de la Nuez, “Robust Optical Flow Estimation”, IPOL, 2013 0.91
6 6 0.85

翻訳にはFugu-Machine Translatorを利用しています。