論文の概要: Hyperspectral and Multispectral Image Fusion Using the Conditional Denoising Diffusion Probabilistic Model

• arxiv url: http://arxiv.org/abs/2307.03423v1
• Date: Fri, 7 Jul 2023 07:08:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 13:08:27.196605
• Title: Hyperspectral and Multispectral Image Fusion Using the Conditional Denoising Diffusion Probabilistic Model
• Title（参考訳）: 条件付き消音拡散確率モデルを用いたハイパースペクトル・マルチスペクトル画像融合
• Authors: Shuaikai Shi, Lijun Zhang, Jie Chen
• Abstract要約: DDPM-Fus と呼ばれる条件付きデノナイジング拡散確率モデルに基づく深部融合法を提案する。 1つの屋内および2つのリモートセンシングデータセットで行った実験は、他の高度な深層学習に基づく融合法と比較して、提案モデルが優れていることを示す。
• 参考スコア（独自算出の注目度）: 18.915369996829984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperspectral images (HSI) have a large amount of spectral information reflecting the characteristics of matter, while their spatial resolution is low due to the limitations of imaging technology. Complementary to this are multispectral images (MSI), e.g., RGB images, with high spatial resolution but insufficient spectral bands. Hyperspectral and multispectral image fusion is a technique for acquiring ideal images that have both high spatial and high spectral resolution cost-effectively. Many existing HSI and MSI fusion algorithms rely on known imaging degradation models, which are often not available in practice. In this paper, we propose a deep fusion method based on the conditional denoising diffusion probabilistic model, called DDPM-Fus. Specifically, the DDPM-Fus contains the forward diffusion process which gradually adds Gaussian noise to the high spatial resolution HSI (HrHSI) and another reverse denoising process which learns to predict the desired HrHSI from its noisy version conditioning on the corresponding high spatial resolution MSI (HrMSI) and low spatial resolution HSI (LrHSI). Once the training is completes, the proposed DDPM-Fus implements the reverse process on the test HrMSI and LrHSI to generate the fused HrHSI. Experiments conducted on one indoor and two remote sensing datasets show the superiority of the proposed model when compared with other advanced deep learningbased fusion methods. The codes of this work will be opensourced at this address: https://github.com/shuaikaishi/DDPMFus for reproducibility.
• Abstract（参考訳）: ハイパースペクトル画像(HSI)は、物質の特徴を反映する大量のスペクトル情報を持ち、その空間分解能は画像技術の限界により低い。 これと補完するのがマルチスペクトル画像(MSI)、例えば、空間分解能が高いがスペクトル帯域が不十分なRGB画像である。 ハイパースペクトル・マルチスペクトル画像融合(hyperspectral and multispectral image fusion)は、高い空間分解能と高いスペクトル分解能を持つ理想的な画像を取得する技術である。 多くの既存のHSIおよびMSI融合アルゴリズムは既知の画像劣化モデルに依存しているが、実際には利用できないことが多い。 本稿では,ddpm-fus と呼ばれる条件付き脱雑音拡散確率モデルに基づく深部核融合法を提案する。 具体的には、DDPM-Fusは、高空間分解能HSI(HrHSI)にガウスノイズを徐々に付加する前方拡散過程と、対応する高空間分解能MSI(HrMSI)および低空間分解能HSI(LrHSI)に基づいて、所望のHrHSIをノイズバージョン条件から予測することを学ぶ逆復調工程とを含む。 トレーニングが完了すると、提案されたDDPM-FusはテストHrMSIとLrHSIで逆プロセスを実装し、融合したHrHSIを生成する。 1つの屋内および2つのリモートセンシングデータセットで行った実験は、他の高度な深層学習に基づく融合法と比較して、提案モデルが優れていることを示す。 この作業のコードは、このアドレスでオープンソース化される。 https://github.com/shuaikaishi/ddpmfus 再現性のため。

関連論文リスト

• Physics-Inspired Degradation Models for Hyperspectral Image Fusion [61.743696362028246]
  ほとんどの融合法は、融合アルゴリズム自体にのみ焦点をあて、分解モデルを見落としている。 我々は、LR-HSIとHR-MSIの劣化をモデル化するための物理インスパイアされた劣化モデル(PIDM)を提案する。 提案したPIDMは,既存の核融合法における核融合性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-02-04T09:07:28Z)
• Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency [21.233354336608205]
  本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。 CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2023-07-07T06:47:15Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• Deep Posterior Distribution-based Embedding for Hyperspectral Image Super-resolution [75.24345439401166]
  本稿では,高スペクトル画像の高次元空間スペクトル情報を効率的に効率的に埋め込む方法について述べる。 我々は,HS埋め込みを,慎重に定義されたHS埋め込みイベントの集合の後方分布の近似として定式化する。 そして,提案手法を物理的に解釈可能なソース一貫性超解像フレームワークに組み込む。 3つの一般的なベンチマークデータセットに対する実験により、PDE-Netは最先端の手法よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-05-30T06:59:01Z)
• Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion [67.35540259040806]
  サブピクセルレベルのHS超解像フレームワークを提案する。 名前が示すように、DC-Netはまず入力を共通(またはクロスセンサー)とセンサー固有のコンポーネントに分離する。 我々は,CSUネットの裏側に自己教師付き学習モジュールを付加し,素材の整合性を保証し,復元されたHS製品の詳細な外観を向上する。
  論文  参考訳（メタデータ） (2022-05-07T23:40:36Z)
• LADMM-Net: An Unrolled Deep Network For Spectral Image Fusion From Compressive Data [6.230751621285322]
  ハイパースペクトル(HS)およびマルチスペクトル(MS)画像融合は、低空間分解能HS画像と低スペクトル分解能MS画像から高分解能スペクトル画像を推定することを目的とする。 本研究では,HSおよびMS圧縮測定による融合問題の解法として,アルゴリズムアンロール法に基づくディープラーニングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-03-01T12:04:42Z)
• Spectral Superresolution of Multispectral Imagery with Joint Sparse and Low-Rank Learning [29.834065415830764]
  MS画像のスペクトル超解像 (SSR) は, 逆画像における高視差のため, 困難であり, あまり研究されていない。 重なり合う領域から低ランクのHS-MS辞書ペアを共同学習することにより,MS画像のスペクトル化を図る,ジョイントスパースとローランク学習(J-SLoL)と呼ばれるシンプルで効果的な手法を開発した。
  論文  参考訳（メタデータ） (2020-07-28T06:08:44Z)
• Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery [79.69449412334188]
  本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。 本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。 実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
  論文  参考訳（メタデータ） (2020-05-18T14:25:50Z)
• Hyperspectral-Multispectral Image Fusion with Weighted LASSO [68.04032419397677]
  本稿では,高スペクトル像と多スペクトル像を融合させて高画質な高スペクトル出力を実現する手法を提案する。 提案したスパース融合と再構成は,既存の公開画像の手法と比較して,定量的に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-03-15T23:07:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。