論文の概要: Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency

• arxiv url: http://arxiv.org/abs/2307.03413v1
• Date: Fri, 7 Jul 2023 06:47:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 13:20:38.206808
• Title: Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency
• Title（参考訳）: 周期一貫性に基づく教師なしハイパースペクトル・マルチスペクトル画像融合
• Authors: Shuaikai Shi, Lijun Zhang, Yoann Altmann, Jie Chen
• Abstract要約: 本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。 CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
• 参考スコア（独自算出の注目度）: 21.233354336608205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperspectral images (HSI) with abundant spectral information reflected materials property usually perform low spatial resolution due to the hardware limits. Meanwhile, multispectral images (MSI), e.g., RGB images, have a high spatial resolution but deficient spectral signatures. Hyperspectral and multispectral image fusion can be cost-effective and efficient for acquiring both high spatial resolution and high spectral resolution images. Many of the conventional HSI and MSI fusion algorithms rely on known spatial degradation parameters, i.e., point spread function, spectral degradation parameters, spectral response function, or both of them. Another class of deep learning-based models relies on the ground truth of high spatial resolution HSI and needs large amounts of paired training images when working in a supervised manner. Both of these models are limited in practical fusion scenarios. In this paper, we propose an unsupervised HSI and MSI fusion model based on the cycle consistency, called CycFusion. The CycFusion learns the domain transformation between low spatial resolution HSI (LrHSI) and high spatial resolution MSI (HrMSI), and the desired high spatial resolution HSI (HrHSI) are considered to be intermediate feature maps in the transformation networks. The CycFusion can be trained with the objective functions of marginal matching in single transform and cycle consistency in double transforms. Moreover, the estimated PSF and SRF are embedded in the model as the pre-training weights, which further enhances the practicality of our proposed model. Experiments conducted on several datasets show that our proposed model outperforms all compared unsupervised fusion methods. The codes of this paper will be available at this address: https: //github.com/shuaikaishi/CycFusion for reproducibility.
• Abstract（参考訳）: スペクトル情報反射特性の豊富なハイパースペクトル画像(HSI)は通常、ハードウェアの限界により空間分解能が低い。 一方、マルチスペクトル画像(MSI)、例えばRGB画像は空間分解能が高いがスペクトルシグネチャが不足している。 ハイパースペクトルとマルチスペクトル画像融合は、高空間分解能画像と高スペクトル分解能画像の両方を取得するのに費用対効果が高く、効率的である。 従来のHSIとMSIの融合アルゴリズムの多くは、既知の空間劣化パラメータ、すなわち点拡散関数、スペクトル劣化パラメータ、スペクトル応答関数、あるいはその両方に依存している。 深層学習に基づく別のモデルのクラスは、高空間分解能HSIの基底真実に依存しており、教師付き方式で作業する場合、大量のペアトレーニングイメージが必要である。 どちらのモデルも実際の融合シナリオでは限定的である。 本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。 CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の間の領域変換を学習し、所望の高空間分解能 HSI (HrHSI) は変換ネットワークの中間特徴写像であると考えられる。 CycFusionは、単一変換における境界マッチングの目的関数と二重変換におけるサイクル一貫性で訓練することができる。 さらに,推定PSFとSRFを事前学習重みとしてモデル内に埋め込むことにより,提案モデルの実用性をさらに向上させる。 いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていた。 本論文のコードは、このアドレスで利用可能である。 https: //github.com/shuaikaishi/cycfusion for reproducibility。

関連論文リスト

• Unsupervised Hyperspectral and Multispectral Image Blind Fusion Based on Deep Tucker Decomposition Network with Spatial-Spectral Manifold Learning [15.86617273658407]
  タッカー分解と空間スペクトル多様体学習(DTDNML)に基づくハイパースペクトル・マルチスペクトル画像の教師なしブラインド融合法を提案する。 本手法は,様々なリモートセンシングデータセット上でのハイパースペクトルとマルチスペクトル融合の精度と効率を向上させる。
  論文  参考訳（メタデータ） (2024-09-15T08:58:26Z)
• Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
  AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。 実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
  Hyper SIGMAは、HSI解釈のためのビジョントランスフォーマーベースの基礎モデルである。 特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。 スケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きなメリットがある。
  論文  参考訳（メタデータ） (2024-06-17T13:22:58Z)
• Physics-Inspired Degradation Models for Hyperspectral Image Fusion [61.743696362028246]
  ほとんどの融合法は、融合アルゴリズム自体にのみ焦点をあて、分解モデルを見落としている。 我々は、LR-HSIとHR-MSIの劣化をモデル化するための物理インスパイアされた劣化モデル(PIDM)を提案する。 提案したPIDMは,既存の核融合法における核融合性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-02-04T09:07:28Z)
• SSIF: Learning Continuous Image Representation for Spatial-Spectral Super-Resolution [73.46167948298041]
  本稿では,空間領域における連続画素座標とスペクトル領域における連続波長の両方の関数として,画像を表すニューラル暗黙モデルを提案する。 SSIFは空間分解能とスペクトル分解能の両方によく対応していることを示す。 ダウンストリームタスクのパフォーマンスを1.7%-7%向上させる高解像度画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-30T15:23:30Z)
• Hyperspectral and Multispectral Image Fusion Using the Conditional Denoising Diffusion Probabilistic Model [18.915369996829984]
  DDPM-Fus と呼ばれる条件付きデノナイジング拡散確率モデルに基づく深部融合法を提案する。 1つの屋内および2つのリモートセンシングデータセットで行った実験は、他の高度な深層学習に基づく融合法と比較して、提案モデルが優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-07T07:08:52Z)
• Hyperspectral Image Super-Resolution via Dual-domain Network Based on Hybrid Convolution [6.3814314790000415]
  本稿ではハイブリッド畳み込み(SRDNet)に基づく新しいHSI超解像アルゴリズムを提案する。 スペクトル間自己相似性を捉えるため、空間領域に自己注意学習機構(HSL)を考案する。 HSIの知覚品質をさらに向上するため、周波数領域のモデルを最適化するために周波数損失(HFL)を導入した。
  論文  参考訳（メタデータ） (2023-04-10T13:51:28Z)
• Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion [67.35540259040806]
  サブピクセルレベルのHS超解像フレームワークを提案する。 名前が示すように、DC-Netはまず入力を共通(またはクロスセンサー)とセンサー固有のコンポーネントに分離する。 我々は,CSUネットの裏側に自己教師付き学習モジュールを付加し,素材の整合性を保証し,復元されたHS製品の詳細な外観を向上する。
  論文  参考訳（メタデータ） (2022-05-07T23:40:36Z)
• HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging [138.04956118993934]
  HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。 一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。 一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
  論文  参考訳（メタデータ） (2022-03-04T06:37:45Z)
• A Latent Encoder Coupled Generative Adversarial Network (LE-GAN) for Efficient Hyperspectral Image Super-resolution [3.1023808510465627]
  GAN(Generative Adversarial Network)は画像超解像のための効果的なディープラーニングフレームワークであることが証明されている。 モード崩壊の問題を緩和するため,本研究では,潜在エンコーダ(LE-GAN)と組み合わせた新しいGANモデルを提案する。 LE-GANは、生成したスペクトル空間の特徴を画像空間から潜在空間にマッピングし、生成したサンプルを正規化するための結合成分を生成する。
  論文  参考訳（メタデータ） (2021-11-16T18:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。