論文の概要: Multi-scale Restoration of Missing Data in Optical Time-series Images with Masked Spatial-Temporal Attention Network
- arxiv url: http://arxiv.org/abs/2406.13358v1
- Date: Wed, 19 Jun 2024 09:05:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 22:30:00.643646
- Title: Multi-scale Restoration of Missing Data in Optical Time-series Images with Masked Spatial-Temporal Attention Network
- Title（参考訳）: マスク空間時間アテンションネットワークを用いた光時系列画像における欠測データのマルチスケール復元
- Authors: Zaiyan Zhang, Jining Yan, Yuanqi Liang, Jiaxin Feng, Haixu He, Wei Han,
- Abstract要約: リモートセンシング画像に欠落した値を出力する方法は、補助情報を十分に活用していない。
MS2と呼ばれるディープラーニングベースのアプローチは、リモートセンシング画像の時系列再構成を提案する。
平均信号-信号-信号比0.40dB/1.17dBの改善により、最先端の手法よりも優れる。
- 参考スコア（独自算出の注目度）: 2.230457109765141
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to factors such as thick cloud cover and sensor limitations, remote sensing images often suffer from significant missing data, resulting in incomplete time-series information. Existing methods for imputing missing values in remote sensing images do not fully exploit spatio-temporal auxiliary information, leading to limited accuracy in restoration. Therefore, this paper proposes a novel deep learning-based approach called MS2TAN (Multi-scale Masked Spatial-Temporal Attention Network), for reconstructing time-series remote sensing images. Firstly, we introduce an efficient spatio-temporal feature extractor based on Masked Spatial-Temporal Attention (MSTA), to obtain high-quality representations of the spatio-temporal neighborhood features in the missing regions. Secondly, a Multi-scale Restoration Network consisting of the MSTA-based Feature Extractors, is employed to progressively refine the missing values by exploring spatio-temporal neighborhood features at different scales. Thirdly, we propose a ``Pixel-Structure-Perception'' Multi-Objective Joint Optimization method to enhance the visual effects of the reconstruction results from multiple perspectives and preserve more texture structures. Furthermore, the proposed method reconstructs missing values in all input temporal phases in parallel (i.e., Multi-In Multi-Out), achieving higher processing efficiency. Finally, experimental evaluations on two typical missing data restoration tasks across multiple research areas demonstrate that the proposed method outperforms state-of-the-art methods with an improvement of 0.40dB/1.17dB in mean peak signal-to-noise ratio (mPSNR) and 3.77/9.41 thousandths in mean structural similarity (mSSIM), while exhibiting stronger texture and structural consistency.
- Abstract（参考訳）: 厚い雲のカバーやセンサーの制限などの要因により、リモートセンシング画像は重大なデータ不足に悩まされ、不完全な時系列情報をもたらす。
リモートセンシング画像に欠落した値を出力する既存の方法は、時空間補助情報を十分に活用していないため、復元の精度は限られている。
そこで本稿では,MS2TAN (Multi-scale Masked Space-Temporal Attention Network) と呼ばれる,時系列リモートセンシング画像の再構成のための新しい深層学習手法を提案する。
まず,MSTA(Masked Spatial-Temporal Attention)に基づく効率的な時空間特徴抽出器を導入し,欠落地域における時空間特徴の高品質な表現を実現する。
第2に,MSTAをベースとした機能拡張器からなるマルチスケール復元ネットワークを用いて,時空間の特徴を異なるスケールで探索することで,欠落した価値を徐々に改善する。
第3に,複数視点から再構成結果の視覚的効果を高め,さらにテクスチャ構造を保存するための ``Pixel-Structure-Perception' の多目的共同最適化手法を提案する。
さらに,提案手法は,並列な入力時間位相(マルチインマルチアウト)の欠落値を再構成し,高い処理効率を実現する。
最後に,複数の研究領域にまたがる2つの典型的欠落データ復元タスクに対する実験結果から,提案手法は平均ピーク信号-雑音比(mPSNR)が0.40dB/1.17dB,平均構造類似度(mSSIM)が3.77/9.41dB向上し,高いテクスチャと構造整合性を示した。
関連論文リスト
- AMSA-UNet: An Asymmetric Multiple Scales U-net Based on Self-attention for Deblurring [7.00986132499006]
asymmetric multiple scales U-net based on self-attention (AMSA-UNet) was proposed to improve the accuracy and compute complexity。
マルチスケールなU字型アーキテクチャを導入することで、ネットワークはグローバルレベルでぼやけた領域に集中でき、ローカルレベルで画像の詳細を回復することができる。
論文 参考訳（メタデータ） (2024-06-13T11:39:02Z) - DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。
画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。
MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-12-11T18:38:28Z) - CAMP-Net: Consistency-Aware Multi-Prior Network for Accelerated MRI
Reconstruction [4.967600587813224]
k空間データをMRIでアンサンプすることでスキャン時間が短縮されるが、画像再構成において課題が生じる。
CAMP-Net は,MRI の高速化のためのアンロール型 Consistency-Aware Multi-Prior Network を提案する。
論文 参考訳（メタデータ） (2023-06-20T02:21:45Z) - Making the Invisible Visible: Toward High-Quality Terahertz Tomographic
Imaging via Physics-Guided Restoration [24.045067900801072]
テラヘルツ(THz)トモグラフィーは、非侵襲的で非破壊的で、非イオン化、物質分類、超高速な物体探査と検査により、近年大きな注目を集めている。
本稿では,THz画像のマルチビューアテンションとマルチスペクトル特徴を融合した多視点サブスペース誘導再生ネットワーク(SARNet)を提案する。
論文 参考訳（メタデータ） (2023-04-28T15:05:46Z) - Near-filed SAR Image Restoration with Deep Learning Inverse Technique: A
Preliminary Study [5.489791364472879]
近接場合成開口レーダ(SAR)は、ターゲットの散乱分布ホットスポットの高解像度画像を提供する。
一方、撮像の結果は、サイドローブ、クラッタ、ノイズから必然的に劣化する。
イメージを復元するために、現在の手法では、例えば、点拡散関数(PSF)は空間的に一貫したものであり、ターゲットはスパース点散乱器などで構成されている。
我々は、分解モデルを空間的に可変な複素畳み込みモデルに再構成し、近接場SARのシステム応答を考慮した。
モデルに基づくディープラーニングネットワークは、復元するために設計されている
論文 参考訳（メタデータ） (2022-11-28T01:28:33Z) - PC-GANs: Progressive Compensation Generative Adversarial Networks for
Pan-sharpening [50.943080184828524]
空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。
モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
論文 参考訳（メタデータ） (2022-07-29T03:09:21Z) - DeepRM: Deep Recurrent Matching for 6D Pose Refinement [77.34726150561087]
DeepRMは、6Dポーズ改善のための新しいリカレントネットワークアーキテクチャである。
アーキテクチャにはLSTMユニットが組み込まれ、各改善ステップを通じて情報を伝達する。
DeepRMは、2つの広く受け入れられている課題データセットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-05-28T16:18:08Z) - Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。
我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2022-04-19T17:59:45Z) - Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。
本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
論文 参考訳（メタデータ） (2021-08-19T11:02:25Z) - Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
一つのビデオから多視点深度を推定する新しい手法を提案する。
提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。
最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-26T04:04:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。