論文の概要: Unaligned RGB Guided Hyperspectral Image Super-Resolution with Spatial-Spectral Concordance

• arxiv url: http://arxiv.org/abs/2505.02109v1
• Date: Sun, 04 May 2025 13:29:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.429356
• Title: Unaligned RGB Guided Hyperspectral Image Super-Resolution with Spatial-Spectral Concordance
• Title（参考訳）: 空間スペクトルを用いた非整合RGBガイドハイパースペクトル画像超解法
• Authors: Yingkai Zhang, Zeqiang Lai, Tao Zhang, Ying Fu, Chenghu Zhou,
• Abstract要約: 超高分解能画像は空間分解能を改善することを目的としているが、その性能は高分解能比で制限されることが多い。 非整合参照RGBガイド付きHSI SRのためのフレームワークを導入し、不正確なアライメントと不正確な対話性の問題に対処する。 本手法は,定量評価と定性評価の両面において,最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 18.045877106333766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperspectral images super-resolution aims to improve the spatial resolution, yet its performance is often limited at high-resolution ratios. The recent adoption of high-resolution reference images for super-resolution is driven by the poor spatial detail found in low-resolution HSIs, presenting it as a favorable method. However, these approaches cannot effectively utilize information from the reference image, due to the inaccuracy of alignment and its inadequate interaction between alignment and fusion modules. In this paper, we introduce a Spatial-Spectral Concordance Hyperspectral Super-Resolution (SSC-HSR) framework for unaligned reference RGB guided HSI SR to address the issues of inaccurate alignment and poor interactivity of the previous approaches. Specifically, to ensure spatial concordance, i.e., align images more accurately across resolutions and refine textures, we construct a Two-Stage Image Alignment with a synthetic generation pipeline in the image alignment module, where the fine-tuned optical flow model can produce a more accurate optical flow in the first stage and warp model can refine damaged textures in the second stage. To enhance the interaction between alignment and fusion modules and ensure spectral concordance during reconstruction, we propose a Feature Aggregation module and an Attention Fusion module. In the feature aggregation module, we introduce an Iterative Deformable Feature Aggregation block to achieve significant feature matching and texture aggregation with the fusion multi-scale results guidance, iteratively generating learnable offset. Besides, we introduce two basic spectral-wise attention blocks in the attention fusion module to model the inter-spectra interactions. Extensive experiments on three natural or remote-sensing datasets show that our method outperforms state-of-the-art approaches on both quantitative and qualitative evaluations.
• Abstract（参考訳）: 超高分解能画像は空間分解能を改善することを目的としているが、その性能は高分解能比で制限されることが多い。 近年の高分解能参照画像の高分解能化は、低分解能HSIで見られる空間的細部が乏しく、有利な方法として提示されている。 しかし、アライメントの不正確さや、アライメントと融合モジュール間の不適切な相互作用のため、参照画像からの情報を効果的に利用することはできない。 本稿では,非整合参照RGB誘導HSI SRのための空間スペクトル高スペクトル超解法(SSC-HSR)フレームワークを提案する。 具体的には,空間的一致性を確保するため,画像アライメントモジュール内に2段階画像アライメントを構築し,第1段階において微細調整された光フローモデルによりより正確な光フローを生成でき,第2段階においてワープモデルは損傷したテクスチャを洗練することができる。 本研究では,アライメントモジュールと融合モジュールの相互作用を高め,再構成時のスペクトル一致を確保するために,特徴集合モジュールと注意融合モジュールを提案する。 機能集約モジュールでは,特徴マッチングとテクスチャアグリゲーションを実現するために,反復変形可能特徴集約ブロックを導入し,融合型マルチスケール結果ガイダンスを用いて,学習可能なオフセットを反復的に生成する。 さらに、スペクトル間相互作用をモデル化するために、アテンション融合モジュールに2つの基本的なスペクトルワイドアテンションブロックを導入する。 3つの自然・遠隔センシングデータセットに対する大規模な実験により,本手法は定量評価と定性評価の両方において最先端の手法より優れていることが示された。

関連論文リスト

• HSRMamba: Contextual Spatial-Spectral State Space Model for Single Hyperspectral Super-Resolution [41.93421212397078]
  Mambaは、その強力なグローバルモデリング能力と線形計算複雑性のために、視覚タスクにおいて例外的な性能を示した。 HSISRでは、Mambaは画像を1Dシーケンスに変換することで、局所的に隣接するピクセル間の空間-スペクトル構造関係を無視しているため、課題に直面している。 本研究では,HSISRにおける空間スペクトルモデリング状態空間モデルHSRMambaを提案する。
  論文  参考訳（メタデータ） (2025-01-30T17:10:53Z)
• Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
  RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。 局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。 グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
  論文  参考訳（メタデータ） (2025-01-02T15:14:40Z)
• Physics-Inspired Degradation Models for Hyperspectral Image Fusion [61.743696362028246]
  ほとんどの融合法は、融合アルゴリズム自体にのみ焦点をあて、分解モデルを見落としている。 我々は、LR-HSIとHR-MSIの劣化をモデル化するための物理インスパイアされた劣化モデル(PIDM)を提案する。 提案したPIDMは,既存の核融合法における核融合性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-02-04T09:07:28Z)
• Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency [21.233354336608205]
  本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。 CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2023-07-07T06:47:15Z)
• Hyperspectral Image Super Resolution with Real Unaligned RGB Guidance [11.711656319221072]
  異種特徴抽出,多段階特徴アライメント,注意的特徴融合を含むHSI融合ネットワークを提案する。 本手法は, 既存の単一画像と核融合による超解像法に対して, 定量的評価と視覚的比較において明らかに改善されている。
  論文  参考訳（メタデータ） (2023-02-13T11:56:45Z)
• Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion [67.35540259040806]
  サブピクセルレベルのHS超解像フレームワークを提案する。 名前が示すように、DC-Netはまず入力を共通(またはクロスセンサー)とセンサー固有のコンポーネントに分離する。 我々は,CSUネットの裏側に自己教師付き学習モジュールを付加し,素材の整合性を保証し,復元されたHS製品の詳細な外観を向上する。
  論文  参考訳（メタデータ） (2022-05-07T23:40:36Z)
• Enhanced Hyperspectral Image Super-Resolution via RGB Fusion and TV-TV Minimization [9.584717030078245]
  ハイパースペクトル(HS)画像には、リモートセンシング、監視、天文学などの応用において重要な、詳細なスペクトル情報が含まれている。 HSカメラのハードウェア制限のため、撮像された画像は空間解像度が低い。 それらを改善するために、低分解能ハイパースペクトル画像は、融合ベースHS画像超解像と呼ばれる技術により、従来の高分解能RGB画像と融合する。
  論文  参考訳（メタデータ） (2021-06-13T18:52:47Z)
• Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses [67.01164492518481]
  本稿では,ハイブリットレンズを用いた高分解能光場(LF)画像の再構成問題について検討する。 本稿では,入力の特徴を包括的に活用できる新しいエンドツーエンド学習手法を提案する。 我々のフレームワークは、高解像度なLFデータ取得のコストを削減し、LFデータストレージと送信の恩恵を受ける可能性がある。
  論文  参考訳（メタデータ） (2021-02-14T06:44:47Z)
• RGB-D Salient Object Detection with Cross-Modality Modulation and Selection [126.4462739820643]
  本稿では, RGB-D Salient Object Detection (SOD) において, モジュール間相補性を段階的に統合し, 改良する有効な方法を提案する。 提案するネットワークは,1)RGB画像とそれに対応する深度マップからの補完情報を効果的に統合する方法,および2)より精度の高い特徴を適応的に選択する方法の2つの課題を主に解決する。
  論文  参考訳（メタデータ） (2020-07-14T14:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。