論文の概要: Local-Global Transformer Enhanced Unfolding Network for Pan-sharpening
- arxiv url: http://arxiv.org/abs/2304.14612v1
- Date: Fri, 28 Apr 2023 03:34:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-01 15:25:21.778169
- Title: Local-Global Transformer Enhanced Unfolding Network for Pan-sharpening
- Title（参考訳）: パンシャープ化のための局所的グローバル変圧器拡張展開ネットワーク
- Authors: Mingsong Li, Yikun Liu, Tao Xiao, Yuwen Huang, and Gongping Yang
- Abstract要約: パンシャーピングは,低分解能マルチスペクトル (LrMS) 画像の空間分解能を,対応するパンクロマティック (PAN) 画像の誘導により向上することを目的としている。
深層学習(DL)に基づくパンシャーピング法は有望な性能を達成しているが、そのほとんどは2倍の欠損を有する。
- 参考スコア（独自算出の注目度）: 13.593522290577512
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pan-sharpening aims to increase the spatial resolution of the low-resolution
multispectral (LrMS) image with the guidance of the corresponding panchromatic
(PAN) image. Although deep learning (DL)-based pan-sharpening methods have
achieved promising performance, most of them have a two-fold deficiency. For
one thing, the universally adopted black box principle limits the model
interpretability. For another thing, existing DL-based methods fail to
efficiently capture local and global dependencies at the same time, inevitably
limiting the overall performance. To address these mentioned issues, we first
formulate the degradation process of the high-resolution multispectral (HrMS)
image as a unified variational optimization problem, and alternately solve its
data and prior subproblems by the designed iterative proximal gradient descent
(PGD) algorithm. Moreover, we customize a Local-Global Transformer (LGT) to
simultaneously model local and global dependencies, and further formulate an
LGT-based prior module for image denoising. Besides the prior module, we also
design a lightweight data module. Finally, by serially integrating the data and
prior modules in each iterative stage, we unfold the iterative algorithm into a
stage-wise unfolding network, Local-Global Transformer Enhanced Unfolding
Network (LGTEUN), for the interpretable MS pan-sharpening. Comprehensive
experimental results on three satellite data sets demonstrate the effectiveness
and efficiency of LGTEUN compared with state-of-the-art (SOTA) methods. The
source code is available at https://github.com/lms-07/LGTEUN.
- Abstract（参考訳）: パンシャーピングは,低分解能マルチスペクトル(LrMS)画像の空間分解能を高めることを目的として,パンクロマティック(PAN)画像の誘導を行う。
深層学習(DL)に基づくパンシャーピング法は有望な性能を達成したが、そのほとんどは2倍の欠損を有する。
例えば、普遍的に採用されたブラックボックスの原理は、モデル解釈可能性を制限する。
別のこととして、既存のDLベースのメソッドは、ローカルとグローバルの依存関係を効率的にキャプチャすることができない。
これらの問題に対処するため、まず高分解能マルチスペクトル(HrMS)画像の劣化過程を統一的変分最適化問題として定式化し、設計した反復近位勾配勾配(PGD)アルゴリズムによりそのデータと先行サブプロブレムを交互に解く。
さらに,ローカルGlobal Transformer (LGT) をカスタマイズして,ローカルおよびグローバルな依存関係を同時にモデル化し,さらにLGTベースの先行モジュールを画像のデノーミングに使用する。
以前のモジュールに加えて、軽量データモジュールも設計しました。
最後に、各反復段階におけるデータと先行モジュールのシリアル統合により、反復アルゴリズムを段階的に展開するネットワーク、LGTEUN(Local-Global Transformer Enhanced Unfolding Network)に展開し、解釈可能なMSパンシャーピングを行う。
3つの衛星データセットの総合的な実験結果から,LGTEUNの有効性と有効性を示す。
ソースコードはhttps://github.com/lms-07/LGTEUNで入手できる。
関連論文リスト
- Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening [2.874893537471256]
展開融合法は、ディープラーニングの強力な表現能力とモデルベースアプローチの堅牢性を統合する。
本稿では,衛星画像融合のためのモデルに基づく深部展開手法を提案する。
PRISMA、Quickbird、WorldView2データセットの実験結果から、本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2024-09-04T13:05:00Z) - Adaptive Step-size Perception Unfolding Network with Non-local Hybrid Attention for Hyperspectral Image Reconstruction [0.39134031118910273]
FISTAアルゴリズムに基づく深層展開ネットワークであるASPUNを提案する。
さらに,非局所的ハイブリッドアテンショントランス (NHAT) モジュールを設計し,コンバータの受容場特性をフル活用する。
実験の結果, ASPUNは既存のSOTAアルゴリズムよりも優れ, 最高の性能が得られることがわかった。
論文 参考訳（メタデータ） (2024-07-04T16:09:52Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳（メタデータ） (2023-12-12T06:07:21Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳（メタデータ） (2023-10-11T12:46:11Z) - ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language
Models [70.45441031021291]
LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。
LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。
本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
論文 参考訳（メタデータ） (2023-10-04T17:34:00Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - Improving Pixel-based MIM by Reducing Wasted Modeling Capability [77.99468514275185]
浅い層から低レベルの特徴を明示的に利用して画素再構成を支援する手法を提案する。
私たちの知る限りでは、等方的アーキテクチャのためのマルチレベル特徴融合を体系的に研究するのは、私たちは初めてです。
提案手法は, 微調整では1.2%, 線形探索では2.8%, セマンティックセグメンテーションでは2.6%など, 大幅な性能向上をもたらす。
論文 参考訳（メタデータ） (2023-08-01T03:44:56Z) - GARNet: Global-Aware Multi-View 3D Reconstruction Network and the
Cost-Performance Tradeoff [10.8606881536924]
本稿では,各ブランチとグローバル間の相関関係を構築し,重み付け推論の包括的基盤を提供する,グローバルアウェアアテンションベースの融合手法を提案する。
ネットワークの能力を高めるために,ネットワーク全体の形状を監督する新たな損失関数を導入する。
ShapeNetの実験により,本手法が既存のSOTA法より優れていることを確認した。
論文 参考訳（メタデータ） (2022-11-04T07:45:19Z) - SUMD: Super U-shaped Matrix Decomposition Convolutional neural network
for Image denoising [0.0]
ネットワークに行列分解モジュール(MD)を導入し,グローバルなコンテキスト機能を確立する。
U字型アーキテクチャの多段階的プログレッシブ復元の設計に触発されて,MDモジュールをマルチブランチに統合する。
我々のモデル(SUMD)は、Transformerベースの手法で、同等の視覚的品質と精度が得られる。
論文 参考訳（メタデータ） (2022-04-11T04:38:34Z) - InfinityGAN: Towards Infinite-Resolution Image Synthesis [92.40782797030977]
任意の解像度画像を生成するinfinityganを提案する。
少ない計算資源でパッチバイパッチをシームレスに訓練し、推論する方法を示す。
論文 参考訳（メタデータ） (2021-04-08T17:59:30Z) - Efficient texture-aware multi-GAN for image inpainting [5.33024001730262]
近年のGAN (Generative Adversarial Network) のインペイント手法は顕著に改善されている。
本稿では,性能とレンダリング効率の両方を改善するマルチGANアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-09-30T14:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。