論文の概要: Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening
- arxiv url: http://arxiv.org/abs/2409.02675v1
- Date: Wed, 4 Sep 2024 13:05:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 18:26:46.827196
- Title: Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening
- Title（参考訳）: モデルに基づくパンシャーピングのためのマルチヘッドアテンション残差アンフォールドネットワーク
- Authors: Ivan Pereira-Sánchez, Eloi Sans, Julia Navarro, Joan Duran,
- Abstract要約: 展開融合法は、ディープラーニングの強力な表現能力とモデルベースアプローチの堅牢性を統合する。
本稿では,衛星画像融合のためのモデルに基づく深部展開手法を提案する。
PRISMA、Quickbird、WorldView2データセットの実験結果から、本手法の優れた性能が示された。
- 参考スコア（独自算出の注目度）: 2.874893537471256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The objective of pansharpening and hypersharpening is to accurately combine a high-resolution panchromatic (PAN) image with a low-resolution multispectral (MS) or hyperspectral (HS) image, respectively. Unfolding fusion methods integrate the powerful representation capabilities of deep learning with the robustness of model-based approaches. These techniques involve unrolling the steps of the optimization scheme derived from the minimization of an energy into a deep learning framework, resulting in efficient and highly interpretable architectures. In this paper, we propose a model-based deep unfolded method for satellite image fusion. Our approach is based on a variational formulation that incorporates the classic observation model for MS/HS data, a high-frequency injection constraint based on the PAN image, and an arbitrary convex prior. For the unfolding stage, we introduce upsampling and downsampling layers that use geometric information encoded in the PAN image through residual networks. The backbone of our method is a multi-head attention residual network (MARNet), which replaces the proximity operator in the optimization scheme and combines multiple head attentions with residual learning to exploit image self-similarities via nonlocal operators defined in terms of patches. Additionally, we incorporate a post-processing module based on the MARNet architecture to further enhance the quality of the fused images. Experimental results on PRISMA, Quickbird, and WorldView2 datasets demonstrate the superior performance of our method and its ability to generalize across different sensor configurations and varying spatial and spectral resolutions. The source code will be available at https://github.com/TAMI-UIB/MARNet.
- Abstract（参考訳）: 本研究の目的は,高分解能パノクロマトグラフィー (PAN) 画像と低分解能マルチスペクトル (MS) 画像と高分解能ハイパースペクトル (HS) 画像とを正確に組み合わせることである。
展開融合法は、ディープラーニングの強力な表現能力とモデルベースアプローチの堅牢性を統合する。
これらの手法は、エネルギーの最小化に由来する最適化スキームのステップをディープラーニングフレームワークに展開することを含み、効率的で解釈可能なアーキテクチャをもたらす。
本稿では,衛星画像融合のためのモデルに基づく深部展開手法を提案する。
提案手法は,MS/HSデータの古典的観測モデルとPAN画像に基づく高周波注入制約と,それ以前の任意の凸を組み込んだ変分定式化に基づいている。
展開する段階では、残留ネットワークを介してPAN画像に符号化された幾何情報を利用するアップサンプリング層とダウンサンプリング層を導入する。
提案手法のバックボーンはマルチヘッドアテンション残差ネットワーク (MARNet) であり, 最適化方式における近接演算子を置き換えるとともに, 複数ヘッドアテンションと残差学習を組み合わせ, パッチで定義された非局所演算子による画像自己相似性を利用する。
さらに,MARNetアーキテクチャに基づく後処理モジュールを組み込んで,融合画像の品質をさらに向上させる。
PRISMA、Quickbird、WorldView2データセットの実験結果は、我々の手法の優れた性能と、異なるセンサー構成と様々な空間およびスペクトル解像度をまたいで一般化する能力を示す。
ソースコードはhttps://github.com/TAMI-UIB/MARNetで入手できる。
関連論文リスト
- Variational Zero-shot Multispectral Pansharpening [43.881891055500496]
Pansharpeningは、低空間分解能マルチスペクトル画像(LRMS)とパンクロマチック画像(PAN)を融合させて高空間分解能マルチスペクトル画像(HRMS)を生成することを目的としている。
既存のディープラーニングベースの手法は、多くのトレーニングペアに依存するため、適していない。
最適化対象にニューラルネットワークを導入することにより,ゼロショットパンスハーペン方式を提案する。
論文 参考訳（メタデータ） (2024-07-09T07:59:34Z) - Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object
Structure via HyperNetworks [53.67497327319569]
画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。
提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。
本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
論文 参考訳（メタデータ） (2023-12-24T08:42:37Z) - Improving Pixel-based MIM by Reducing Wasted Modeling Capability [77.99468514275185]
浅い層から低レベルの特徴を明示的に利用して画素再構成を支援する手法を提案する。
私たちの知る限りでは、等方的アーキテクチャのためのマルチレベル特徴融合を体系的に研究するのは、私たちは初めてです。
提案手法は, 微調整では1.2%, 線形探索では2.8%, セマンティックセグメンテーションでは2.6%など, 大幅な性能向上をもたらす。
論文 参考訳（メタデータ） (2023-08-01T03:44:56Z) - Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。
本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。
提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
論文 参考訳（メタデータ） (2023-05-20T17:01:52Z) - Local-Global Transformer Enhanced Unfolding Network for Pan-sharpening [13.593522290577512]
パンシャーピングは,低分解能マルチスペクトル (LrMS) 画像の空間分解能を,対応するパンクロマティック (PAN) 画像の誘導により向上することを目的としている。
深層学習(DL)に基づくパンシャーピング法は有望な性能を達成しているが、そのほとんどは2倍の欠損を有する。
論文 参考訳（メタデータ） (2023-04-28T03:34:36Z) - PC-GANs: Progressive Compensation Generative Adversarial Networks for
Pan-sharpening [50.943080184828524]
空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。
モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
論文 参考訳（メタデータ） (2022-07-29T03:09:21Z) - Proximal PanNet: A Model-Based Deep Network for Pansharpening [11.695233311615498]
本稿では,モデルに基づく手法と深層学習手法を組み合わせることで,パンシャーピングのための新しいディープネットワークを提案する。
畳み込みニューラルネットワークを用いて近位演算子を学習することにより、反復アルゴリズムをPanNetと呼ばれるディープネットワークに展開する。
いくつかのベンチマークデータセットの実験結果から、我々のネットワークは定量的にも定性的にも他の先進的な手法よりも優れた性能を示している。
論文 参考訳（メタデータ） (2022-02-12T15:49:13Z) - Image-specific Convolutional Kernel Modulation for Single Image
Super-resolution [85.09413241502209]
本稿では,新しい画像特異的畳み込み変調カーネル(IKM)を提案する。
我々は、画像や特徴のグローバルな文脈情報を利用して、畳み込みカーネルを適応的に調整するための注意重みを生成する。
単一画像超解像実験により,提案手法は最先端手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2021-11-16T11:05:10Z) - Model Inspired Autoencoder for Unsupervised Hyperspectral Image
Super-Resolution [25.878793557013207]
本稿では,低空間分解能HSIと高空間分解能マルチスペクトル像の融合を目的とした超高分解能画像(HSI)に焦点を当てた。
既存のディープラーニングベースのアプローチは、主に多数のラベル付きトレーニングサンプルに依存する教師付きである。
我々は、HSI超解像のためのモデルにインスパイアされたディープネットワークを教師なしで設計する最初の試みを行う。
論文 参考訳（メタデータ） (2021-10-22T05:15:16Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳（メタデータ） (2020-03-15T11:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。