論文の概要: Multi-scale Restoration of Missing Data in Optical Time-series Images with Masked Spatial-Temporal Attention Network

• arxiv url: http://arxiv.org/abs/2406.13358v2
• Date: Mon, 18 Nov 2024 21:36:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:33:13.074657
• Title: Multi-scale Restoration of Missing Data in Optical Time-series Images with Masked Spatial-Temporal Attention Network
• Title（参考訳）: マスク空間時間アテンションネットワークを用いた光時系列画像における欠測データのマルチスケール復元
• Authors: Zaiyan Zhang, Jining Yan, Yuanqi Liang, Jiaxin Feng, Haixu He, Li Cao,
• Abstract要約: リモートセンシング画像に欠落した値を出力する既存の方法は、補助情報を完全に活用できない。 本稿では,時系列リモートセンシング画像の再構成のためのMS2という,深層学習に基づく新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 0.6675733925327885
• License:
• Abstract: Remote sensing images often suffer from substantial data loss due to factors such as thick cloud cover and sensor limitations. Existing methods for imputing missing values in remote sensing images fail to fully exploit spatiotemporal auxiliary information, which restricts the accuracy of their reconstructions. To address this issue, this paper proposes a novel deep learning-based approach called MS2TAN (Multi-Scale Masked Spatial-Temporal Attention Network) for reconstructing time-series remote sensing images. First, we introduce an efficient spatiotemporal feature extractor based on Masked Spatial-Temporal Attention (MSTA) to capture high-quality representations of spatiotemporal neighborhood features surrounding missing regions while significantly reducing the computational complexity of the attention mechanism. Second, a Multi-Scale Restoration Network composed of MSTA-based Feature Extractors is designed to progressively refine missing values by exploring spatiotemporal neighborhood features at different scales. Third, we propose a "Pixel-Structure-Perception" Multi-Objective Joint Optimization method to enhance the visual quality of the reconstructed results from multiple perspectives and to preserve more texture structures. Finally, quantitative experimental results under multi-temporal inputs on two public datasets demonstrate that the proposed method outperforms competitive approaches, achieving a 9.76%/9.30% reduction in Mean Absolute Error (MAE) and a 0.56 dB/0.62 dB increase in Peak Signal-to-Noise Ratio (PSNR), along with stronger texture and structural consistency. Ablation experiments further validate the contribution of the core innovations to imputation accuracy.
• Abstract（参考訳）: リモートセンシング画像は、厚い雲のカバーやセンサーの制限などの要因により、大きなデータ損失に悩まされることが多い。 リモートセンシング画像に欠落した値を出力する既存の手法では、時空間補助情報を完全に活用できないため、再構成の精度が制限される。 そこで本稿では,MS2TAN (Multi-Scale Masked Space-Temporal Attention Network) と呼ばれる,時系列リモートセンシング画像の再構成のための新しい深層学習手法を提案する。 まず,MSTA(Masked Spatial-Temporal Attention)に基づく高効率な時空間特徴抽出器を導入し,注意機構の計算複雑性を著しく低減しつつ,欠落地域を取り巻く時空間特徴の高品質な表現を抽出する。 第二に、MSTAをベースとした特徴指数を用いた多スケール復元ネットワークは、時空間の特徴を異なるスケールで探索することによって、欠落値を段階的に改善するように設計されている。 第3に,複数視点から再構成された結果の視覚的品質を高め,さらにテクスチャ構造を保存するための多目的共同最適化手法"Pixel-Structure-Perception"を提案する。 最後に、2つの公開データセットの多時間入力による定量的実験結果から、提案手法は、平均絶対誤差(MAE)が9.76%/9.30%減少し、ピーク信号対雑音比(PSNR)が0.56dB/0.62dB上昇し、より強いテクスチャと構造的整合性が得られた。 アブレーション実験は、核となるイノベーションの計算精度への貢献をさらに検証する。

関連論文リスト

• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• CAMP-Net: Consistency-Aware Multi-Prior Network for Accelerated MRI Reconstruction [4.967600587813224]
  k空間データをMRIでアンサンプすることでスキャン時間が短縮されるが、画像再構成において課題が生じる。 CAMP-Net は,MRI の高速化のためのアンロール型 Consistency-Aware Multi-Prior Network を提案する。
  論文  参考訳（メタデータ） (2023-06-20T02:21:45Z)
• Making the Invisible Visible: Toward High-Quality Terahertz Tomographic Imaging via Physics-Guided Restoration [24.045067900801072]
  テラヘルツ(THz)トモグラフィーは、非侵襲的で非破壊的で、非イオン化、物質分類、超高速な物体探査と検査により、近年大きな注目を集めている。 本稿では,THz画像のマルチビューアテンションとマルチスペクトル特徴を融合した多視点サブスペース誘導再生ネットワーク(SARNet)を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:05:46Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
  本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。 我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。 提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-04-19T17:59:45Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)
• Exploiting multi-temporal information for improved speckle reduction of Sentinel-1 SAR images by deep learning [3.506018346865459]
  深層学習によるSAR振幅画像のスペックル低減効果は前例がない。 本稿では,時間的情報を深層ニューラルネットワークに統合し,スペックル抑制を実現するためのフレキシブルかつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-01T07:48:55Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)
• Temporal Pyramid Network for Action Recognition [129.12076009042622]
  本稿では,2次元あるいは3次元のバックボーンネットワークに柔軟に統合可能な汎用時間ピラミッドネットワーク(TPN)を提案する。 TPNは、いくつかのアクション認識データセット上で、他の困難なベースラインよりも一貫して改善されている。
  論文  参考訳（メタデータ） (2020-04-07T17:17:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。