論文の概要: HPRN: Holistic Prior-embedded Relation Network for Spectral Super-Resolution

• arxiv url: http://arxiv.org/abs/2112.14608v1
• Date: Wed, 29 Dec 2021 15:43:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-30 14:42:14.570870
• Title: HPRN: Holistic Prior-embedded Relation Network for Spectral Super-Resolution
• Title（参考訳）: hprn:スペクトル超解像のための総括的事前埋め込み関係ネットワーク
• Authors: Chaoxiong Wu, Jiaojiao Li, Rui Song, Yunsong Li and Qian Du
• Abstract要約: スペクトル超解像 (SSR) とは、高スペクトル像(HSI)をRGBから回収することを指す。 この曖昧な問題に対処する鍵は、複数ソースの事前情報をプラグインすることである。 本稿では,SSRのための新しい総合的事前組込みネットワーク(HPRN)を提案する。
• 参考スコア（独自算出の注目度）: 31.19959462235001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spectral super-resolution (SSR) refers to the hyperspectral image (HSI) recovery from an RGB counterpart. Due to the one-to-many nature of the SSR problem, a single RGB image can be reprojected to many HSIs. The key to tackle this illposed problem is to plug into multi-source prior information such as the natural RGB spatial context-prior, deep feature-prior or inherent HSI statistical-prior, etc., so as to improve the confidence and fidelity of reconstructed spectra. However, most current approaches only consider the general and limited priors in their designing the customized convolutional neural networks (CNNs), which leads to the inability to effectively alleviate the degree of ill-posedness. To address the problematic issues, we propose a novel holistic prior-embedded relation network (HPRN) for SSR. Basically, the core framework is delicately assembled by several multi-residual relation blocks (MRBs) that fully facilitate the transmission and utilization of the low-frequency content prior of RGB signals. Innovatively, the semantic prior of RGB input is introduced to identify category attributes and a semantic-driven spatial relation module (SSRM) is put forward to perform the feature aggregation among the clustered similar characteristics using a semantic-embedded relation matrix. Additionally, we develop a transformer-based channel relation module (TCRM), which breaks the habit of employing scalars as the descriptors of channel-wise relations in the previous deep feature-prior and replaces them with certain vectors, together with Transformerstyle feature interactions, supporting the representations to be more discriminative. In order to maintain the mathematical correlation and spectral consistency between hyperspectral bands, the second-order prior constraints (SOPC) are incorporated into the loss function to guide the HSI reconstruction process.
• Abstract（参考訳）: スペクトル超解像 (SSR) とは、高スペクトル像(HSI)をRGBから回収することを指す。 SSR問題の1対多の性質のため、単一のRGBイメージを多くのHSIに再プロジェクションすることができる。 この課題に対処する鍵は、天然のRGB空間コンテキスト優先、深部特徴優先、固有のHSI統計優先など、複数ソースの事前情報をプラグインして、再構成されたスペクトルの信頼性と忠実性を改善することである。 しかし、現在のほとんどのアプローチでは、カスタマイズされた畳み込みニューラルネットワーク(CNN)を設計する上で、一般的な、限られた事前しか考慮していない。 この問題に対処するため、我々はSSRのための新しい総合的事前組込み関係ネットワーク(HPRN)を提案する。 基本的に、コアフレームワークは、rgb信号に先立つ低周波コンテンツの伝送と利用を完全に促進する複数のマルチレジデントリレーションブロック(mrbs)によって繊細に組み立てられる。 革新的には、RGB入力のセマンティック先行を導入してカテゴリ属性を識別し、セマンティック駆動空間関係モジュール(SSRM)をフォワードして、セマンティック埋め込み関係行列を用いてクラスタ化された類似特性の特徴集約を行う。 さらに,トランスフォーマスタイルの特徴的相互作用とともに,スカラーをチャネルワイド関係の記述子として使用する習慣を破り,それを特定のベクトルに置き換え,表現をより差別的にサポートするトランスフォーマ方式のチャネルリレーションモジュール(TCRM)を開発した。 高スペクトル帯域間の数学的相関とスペクトル整合性を維持するため、損失関数に2次事前制約(SOPC)を組み込んでHSI再構成プロセスの導出を行う。

関連論文リスト

• EigenSR: Eigenimage-Bridged Pre-Trained RGB Learners for Single Hyperspectral Image Super-Resolution [15.459253235077375]
  単一ハイパースペクトル画像超解像(単一HSI-SR)は、単一入力低解像度HSIの解像度を改善することを目的としている。 データ不足のボトルネックのため、シングルHSI-SRはRGBの自然画像よりもはるかに遅れている。 本稿では,まず事前学習したモデルを空間成分で微調整し,次に反復スペクトル正則化を用いて未知のHSIを推論する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-06T06:46:01Z)
• Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
  我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。 我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
  論文  参考訳（メタデータ） (2024-05-08T11:09:24Z)
• Channel and Spatial Relation-Propagation Network for RGB-Thermal Semantic Segmentation [10.344060599932185]
  RGB-Thermal (RGB-T)セマンティックセマンティックセグメンテーションは、低照度条件を扱う上で大きな可能性を示している。 RGB-Tセマンティックセグメンテーションの鍵は、RGBと熱画像の相補的性質を効果的に活用することである。
  論文  参考訳（メタデータ） (2023-08-24T03:43:47Z)
• Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection [95.84616822805664]
  我々は,CNNによるトランスフォーマーアーキテクチャを導入し,ポイント・アウェア・インタラクションとCNNによるリファインメントを備えた新しいRGB-D SODネットワークを提案する。 トランスフォーマーがもたらすブロック効果とディテール破壊問題を自然に軽減するために,コンテンツリファインメントとサプリメントのためのCNNRユニットを設計する。
  論文  参考訳（メタデータ） (2023-08-17T11:57:49Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution [80.93870349019332]
  本稿では,CNN の代わりに Transformer を用いて HSI の事前学習を行う新しい HSISR 手法を提案する。 具体的には、まず勾配アルゴリズムを用いてHSISRモデルを解き、次に展開ネットワークを用いて反復解過程をシミュレートする。
  論文  参考訳（メタデータ） (2021-11-27T15:38:57Z)
• Multi-Scale Cascading Network with Compact Feature Learning for RGB-Infrared Person Re-Identification [35.55895776505113]
  マルチスケールパートアウェアカスケードフレームワーク(MSPAC)は、マルチスケールの細かい機能を部分からグローバルに集約することによって策定されます。 したがって、クロスモダリティ相関は、特徴的モダリティ不変な特徴学習のための顕著な特徴を効率的に探索することができる。
  論文  参考訳（メタデータ） (2020-12-12T15:39:11Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)
• Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining [66.82470461139376]
  本稿では,再帰型ニューラルネットワークに統合されたCS-NLアテンションモジュールを提案する。 新しいCS-NLと局所的および非局所的非局所的前駆体を強力な再帰核融合セルで組み合わせることで、単一の低分解能画像内でよりクロススケールな特徴相関を見出すことができる。
  論文  参考訳（メタデータ） (2020-06-02T07:08:58Z)
• AdaptiveWeighted Attention Network with Camera Spectral Sensitivity Prior for Spectral Reconstruction from RGB Images [22.26917280683572]
  スペクトル再構成のための適応重み付き注意ネットワーク(AWAN)を提案する。 AWCAおよびPSNLモジュールは、チャネルワイドな特徴応答を再配置するために開発された。 NTIRE 2020 Spectral Reconstruction Challengeでは、クリーントラックで1位、リアルワールドで3位を獲得しました。
  論文  参考訳（メタデータ） (2020-05-19T09:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。