論文の概要: Unsupervised Deep Learning-based Pansharpening with Jointly-Enhanced
Spectral and Spatial Fidelity
- arxiv url: http://arxiv.org/abs/2307.14403v1
- Date: Wed, 26 Jul 2023 17:25:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 16:55:45.655510
- Title: Unsupervised Deep Learning-based Pansharpening with Jointly-Enhanced
Spectral and Spatial Fidelity
- Title（参考訳）: スペクトルと空間的忠実度を併用した教師なし深層学習によるパンシャープニング
- Authors: Matteo Ciotola, Giovanni Poggi, Giuseppe Scarpa
- Abstract要約: 本稿では,この手法の可能性をフル活用した,ディープラーニングに基づくパンシャーピングモデルを提案する。
提案モデルでは,パンシャーペンデータのスペクトルと空間的品質を協調的に向上する新たな損失関数を特徴とする。
挑戦的なシナリオで実施された多種多様なテスト画像の実験により,提案手法が技術状況と良好に比較できることが実証された。
- 参考スコア（独自算出の注目度）: 4.425982186154401
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In latest years, deep learning has gained a leading role in the pansharpening
of multiresolution images. Given the lack of ground truth data, most deep
learning-based methods carry out supervised training in a reduced-resolution
domain. However, models trained on downsized images tend to perform poorly on
high-resolution target images. For this reason, several research groups are now
turning to unsupervised training in the full-resolution domain, through the
definition of appropriate loss functions and training paradigms. In this
context, we have recently proposed a full-resolution training framework which
can be applied to many existing architectures.
Here, we propose a new deep learning-based pansharpening model that fully
exploits the potential of this approach and provides cutting-edge performance.
Besides architectural improvements with respect to previous work, such as the
use of residual attention modules, the proposed model features a novel loss
function that jointly promotes the spectral and spatial quality of the
pansharpened data. In addition, thanks to a new fine-tuning strategy, it
improves inference-time adaptation to target images. Experiments on a large
variety of test images, performed in challenging scenarios, demonstrate that
the proposed method compares favorably with the state of the art both in terms
of numerical results and visual output. Code is available online at
https://github.com/matciotola/Lambda-PNN.
- Abstract（参考訳）: 近年、深層学習は多解像度画像のパンシャーピングにおいて主要な役割を担っている。
基礎的真理データがないことから、深層学習に基づく手法の多くは、解像度の低い領域で教師付きトレーニングを実行する。
しかし、小型画像で訓練されたモデルは高解像度のターゲット画像では性能が良くない傾向にある。
このため、いくつかの研究グループが、適切な損失関数とトレーニングパラダイムの定義を通じて、フルレゾリューション領域における教師なしトレーニングに移行している。
この文脈で、我々は最近、既存の多くのアーキテクチャに適用可能なフルレゾリューショントレーニングフレームワークを提案しました。
本稿では,このアプローチの可能性を十分に活用し,最先端のパフォーマンスを提供する,深層学習に基づく新しいパンシャープニングモデルを提案する。
余剰アテンションモジュールの使用など,過去の作業に対するアーキテクチャ改善に加えて,提案モデルでは,パンシャープデータのスペクトルと空間的品質を協調的に促進する新たな損失関数が特徴である。
さらに、新しい微調整戦略により、ターゲット画像への推論時間適応を改善する。
挑戦的なシナリオで実施された多種多様なテスト画像の実験により,提案手法は,数値的結果と視覚的出力の両面において,技術の現状と良好に比較できることを示した。
コードはhttps://github.com/matciotola/lambda-pnnで入手できる。
関連論文リスト
- Research on Image Super-Resolution Reconstruction Mechanism based on Convolutional Neural Network [8.739451985459638]
超解像アルゴリズムは、同一シーンから撮影された1つ以上の低解像度画像を高解像度画像に変換する。
再構成過程における画像の特徴抽出と非線形マッピング手法は,既存のアルゴリズムでは依然として困難である。
目的は、高解像度の画像から高品質で高解像度の画像を復元することである。
論文 参考訳（メタデータ） (2024-07-18T06:50:39Z) - One-Shot Image Restoration [0.0]
提案手法の適用性, 堅牢性, 計算効率を, 教師付き画像の劣化と超解像に応用できることを実験的に示す。
本結果は,学習モデルのサンプル効率,一般化,時間複雑性を大幅に改善したことを示す。
論文 参考訳（メタデータ） (2024-04-26T14:03:23Z) - FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis [48.9652334528436]
本稿では、周波数領域解析の観点から、FouriScaleの革新的な学習不要アプローチを紹介する。
従来の拡散モデルの畳み込み層を,低域演算とともに拡張手法を組み込むことで置き換える。
提案手法は, 生成画像の構造的整合性と忠実度をバランスさせ, 任意のサイズ, 高解像度, 高品質な生成の驚くべき能力を実現する。
論文 参考訳（メタデータ） (2024-03-19T17:59:33Z) - Band-wise Hyperspectral Image Pansharpening using CNN Model Propagation [4.246657212475299]
ハイパースペクトルパンシャーピングのための新しい深層学習法を提案する。
バンドワイド適応方式でネストされた単純な単一バンドアン教師付きパンシャーペニングモデルを継承する。
提案手法は,従来の学習基準法と深層学習基準法の両方より優れた結果が得られる。
論文 参考訳（メタデータ） (2023-11-11T08:53:54Z) - Proximal PanNet: A Model-Based Deep Network for Pansharpening [11.695233311615498]
本稿では,モデルに基づく手法と深層学習手法を組み合わせることで,パンシャーピングのための新しいディープネットワークを提案する。
畳み込みニューラルネットワークを用いて近位演算子を学習することにより、反復アルゴリズムをPanNetと呼ばれるディープネットワークに展開する。
いくつかのベンチマークデータセットの実験結果から、我々のネットワークは定量的にも定性的にも他の先進的な手法よりも優れた性能を示している。
論文 参考訳（メタデータ） (2022-02-12T15:49:13Z) - Image-specific Convolutional Kernel Modulation for Single Image
Super-resolution [85.09413241502209]
本稿では,新しい画像特異的畳み込み変調カーネル(IKM)を提案する。
我々は、画像や特徴のグローバルな文脈情報を利用して、畳み込みカーネルを適応的に調整するための注意重みを生成する。
単一画像超解像実験により,提案手法は最先端手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2021-11-16T11:05:10Z) - Deep Reparametrization of Multi-Frame Super-Resolution and Denoising [167.42453826365434]
本稿では,多フレーム画像復元作業によく用いられる最大後部定式化の深部再パラメータ化を提案する。
提案手法は,学習された誤差メトリックと,対象画像の潜在表現を導入することによって導かれる。
我々は、バースト復調およびバースト超解像データセットに関する包括的な実験を通して、我々のアプローチを検証する。
論文 参考訳（メタデータ） (2021-08-18T17:57:02Z) - Image Restoration by Deep Projected GSURE [115.57142046076164]
Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。
本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-04T08:52:46Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳（メタデータ） (2020-04-30T03:23:45Z) - BP-DIP: A Backprojection based Deep Image Prior [49.375539602228415]
画像復元手法として, (i)Deep Image Prior (DIP) と (ii) バックプロジェクション (BP) の2つの手法を提案する。
提案手法はBP-DIP(BP-DIP)と呼ばれ,高いPSNR値とより優れた推論実行時間を持つ通常のDIPよりも優れた性能を示す。
論文 参考訳（メタデータ） (2020-03-11T17:09:12Z) - Multimodal Deep Unfolding for Guided Image Super-Resolution [23.48305854574444]
ディープラーニング手法は、低解像度の入力から高解像度の出力へのエンドツーエンドのマッピングを学習するために、トレーニングデータに依存する。
本稿では,スパース事前を組み込んだマルチモーダル深層学習設計を提案し,他の画像モダリティからの情報をネットワークアーキテクチャに効果的に統合する。
提案手法は,サイド情報を用いた畳み込みスパース符号化の反復的アルゴリズムに類似した,新しい展開演算子に依存している。
論文 参考訳（メタデータ） (2020-01-21T14:41:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。