論文の概要: Hyperspectral Image Super Resolution with Real Unaligned RGB Guidance
- arxiv url: http://arxiv.org/abs/2302.06298v1
- Date: Mon, 13 Feb 2023 11:56:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 15:49:41.357090
- Title: Hyperspectral Image Super Resolution with Real Unaligned RGB Guidance
- Title（参考訳）: リアルアンアライメントrgb誘導によるハイパースペクトル画像の超解像
- Authors: Zeqiang Lai, Ying Fu, Jun Zhang
- Abstract要約: 異種特徴抽出,多段階特徴アライメント,注意的特徴融合を含むHSI融合ネットワークを提案する。
本手法は, 既存の単一画像と核融合による超解像法に対して, 定量的評価と視覚的比較において明らかに改善されている。
- 参考スコア（独自算出の注目度）: 11.711656319221072
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fusion-based hyperspectral image (HSI) super-resolution has become
increasingly prevalent for its capability to integrate high-frequency spatial
information from the paired high-resolution (HR) RGB reference image. However,
most of the existing methods either heavily rely on the accurate alignment
between low-resolution (LR) HSIs and RGB images, or can only deal with
simulated unaligned RGB images generated by rigid geometric transformations,
which weakens their effectiveness for real scenes. In this paper, we explore
the fusion-based HSI super-resolution with real RGB reference images that have
both rigid and non-rigid misalignments. To properly address the limitations of
existing methods for unaligned reference images, we propose an HSI fusion
network with heterogenous feature extractions, multi-stage feature alignments,
and attentive feature fusion. Specifically, our network first transforms the
input HSI and RGB images into two sets of multi-scale features with an HSI
encoder and an RGB encoder, respectively. The features of RGB reference images
are then processed by a multi-stage alignment module to explicitly align the
features of RGB reference with the LR HSI. Finally, the aligned features of RGB
reference are further adjusted by an adaptive attention module to focus more on
discriminative regions before sending them to the fusion decoder to generate
the reconstructed HR HSI. Additionally, we collect a real-world HSI fusion
dataset, consisting of paired HSI and unaligned RGB reference, to support the
evaluation of the proposed model for real scenes. Extensive experiments are
conducted on both simulated and our real-world datasets, and it shows that our
method obtains a clear improvement over existing single-image and fusion-based
super-resolution methods on quantitative assessment as well as visual
comparison.
- Abstract（参考訳）: 超高分解能高分解能画像(HSI)は高分解能高分解能RGB参照画像から高周波空間情報を統合できる能力としてますます普及している。
しかし、既存の手法のほとんどは低解像度(lr)のhsisとrgb画像の正確なアライメントに大きく依存するか、あるいは剛幾何変換によって生成された非アライメントなrgb画像をシミュレートするだけで、実際のシーンでの有効性を損なう。
本稿では,剛性と非剛性の両方の相違点を持つ実RGB参照画像を用いた核融合型HSI超解像について検討する。
非整合参照画像に対する既存手法の制約を適切に解決するために,異種特徴抽出,多段特徴アライメント,注意的特徴融合を備えたhsiフュージョンネットワークを提案する。
具体的には、入力されたHSIとRGBの画像をHSIエンコーダとRGBエンコーダの2種類のマルチスケール特徴に変換する。
RGB参照画像の特徴は多段アライメントモジュールによって処理され、RGB参照の特徴とLR HSIを明示的に整列する。
最後に、RGB参照のアライメント特徴をアダプティブアテンションモジュールによりさらに調整し、融合復号器に送って再構成されたHR HSIを生成する。
さらに,実シーンにおける提案モデルの評価を支援するために,ペア化されたHSIと非整合なRGB参照からなる実世界のHSI融合データセットを収集する。
シミュレーションと実世界の両方のデータセットに対して大規模な実験を行い,既存の単一画像と核融合に基づく超解像法を定量的に評価し,視覚的比較を行った。
関連論文リスト
- Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。
局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。
グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
論文 参考訳（メタデータ） (2025-01-02T15:14:40Z) - EigenSR: Eigenimage-Bridged Pre-Trained RGB Learners for Single Hyperspectral Image Super-Resolution [15.459253235077375]
単一ハイパースペクトル画像超解像(単一HSI-SR)は、単一入力低解像度HSIの解像度を改善することを目的としている。
データ不足のボトルネックのため、単一HSI-SRの開発はRGBの自然画像よりもはるかに遅れている。
論文 参考訳（メタデータ） (2024-09-06T06:46:01Z) - Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。
近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。
本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
論文 参考訳（メタデータ） (2023-06-17T14:28:08Z) - Symmetric Uncertainty-Aware Feature Transmission for Depth
Super-Resolution [52.582632746409665]
カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。
本手法は最先端の手法と比較して優れた性能を実現する。
論文 参考訳（メタデータ） (2023-06-01T06:35:59Z) - Spherical Space Feature Decomposition for Guided Depth Map
Super-Resolution [123.04455334124188]
誘導深度マップ超解像(GDSR)は、低解像度(LR)深度マップに高解像度(HR)RGB画像を含む追加情報を加えることを目的としている。
本稿では,この問題を解決するために,Spherical Space Feature Decomposition Network (SSDNet)を提案する。
提案手法は,4つのテストデータセットの最先端結果と実世界のシーンへの一般化を実現する。
論文 参考訳（メタデータ） (2023-03-15T21:22:21Z) - Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。
本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。
一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
論文 参考訳（メタデータ） (2022-10-09T13:50:12Z) - Mirror Complementary Transformer Network for RGB-thermal Salient Object
Detection [16.64781797503128]
RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。
本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。
ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2022-07-07T20:26:09Z) - Hyperspectral Pansharpening Based on Improved Deep Image Prior and
Residual Reconstruction [64.10636296274168]
高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能化
近年,深層畳み込みネットワーク(ConvNets)を用いたHSパンシャープ法が注目に値する結果を得た。
深層層の増加を抑えることで高レベルの特徴を学習することに焦点を当てた,新しいオーバーコンプリートネットワークHyperKiteを提案する。
論文 参考訳（メタデータ） (2021-07-06T14:11:03Z) - Enhanced Hyperspectral Image Super-Resolution via RGB Fusion and TV-TV
Minimization [9.584717030078245]
ハイパースペクトル(HS)画像には、リモートセンシング、監視、天文学などの応用において重要な、詳細なスペクトル情報が含まれている。
HSカメラのハードウェア制限のため、撮像された画像は空間解像度が低い。
それらを改善するために、低分解能ハイパースペクトル画像は、融合ベースHS画像超解像と呼ばれる技術により、従来の高分解能RGB画像と融合する。
論文 参考訳（メタデータ） (2021-06-13T18:52:47Z) - Bi-directional Cross-Modality Feature Propagation with
Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。
既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。
本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
論文 参考訳（メタデータ） (2020-07-17T18:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。