論文の概要: AdaptiveWeighted Attention Network with Camera Spectral Sensitivity
Prior for Spectral Reconstruction from RGB Images
- arxiv url: http://arxiv.org/abs/2005.09305v1
- Date: Tue, 19 May 2020 09:21:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 14:35:12.052565
- Title: AdaptiveWeighted Attention Network with Camera Spectral Sensitivity
Prior for Spectral Reconstruction from RGB Images
- Title（参考訳）: RGB画像からのスペクトル再構成に先立ってカメラ分光感度を有する適応重み付き注意ネットワーク
- Authors: Jiaojiao Li, Chaoxiong Wu, Rui Song, Yunsong Li, Fei Liu
- Abstract要約: スペクトル再構成のための適応重み付き注意ネットワーク(AWAN)を提案する。
AWCAおよびPSNLモジュールは、チャネルワイドな特徴応答を再配置するために開発された。
NTIRE 2020 Spectral Reconstruction Challengeでは、クリーントラックで1位、リアルワールドで3位を獲得しました。
- 参考スコア（独自算出の注目度）: 22.26917280683572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent promising effort for spectral reconstruction (SR) focuses on learning
a complicated mapping through using a deeper and wider convolutional neural
networks (CNNs). Nevertheless, most CNN-based SR algorithms neglect to explore
the camera spectral sensitivity (CSS) prior and interdependencies among
intermediate features, thus limiting the representation ability of the network
and performance of SR. To conquer these issues, we propose a novel adaptive
weighted attention network (AWAN) for SR, whose backbone is stacked with
multiple dual residual attention blocks (DRAB) decorating with long and short
skip connections to form the dual residual learning. Concretely, we investigate
an adaptive weighted channel attention (AWCA) module to reallocate channel-wise
feature responses via integrating correlations between channels. Furthermore, a
patch-level second-order non-local (PSNL) module is developed to capture
long-range spatial contextual information by second-order non-local operations
for more powerful feature representations. Based on the fact that the recovered
RGB images can be projected by the reconstructed hyperspectral image (HSI) and
the given CSS function, we incorporate the discrepancies of the RGB images and
HSIs as a finer constraint for more accurate reconstruction. Experimental
results demonstrate the effectiveness of our proposed AWAN network in terms of
quantitative comparison and perceptual quality over other state-of-the-art SR
methods. In the NTIRE 2020 Spectral Reconstruction Challenge, our entries
obtain the 1st ranking on the Clean track and the 3rd place on the Real World
track. Codes are available at https://github.com/Deep-imagelab/AWAN.
- Abstract（参考訳）: スペクトル再構成(SR)に対する最近の有望な取り組みは、より深くより広い畳み込みニューラルネットワーク(CNN)を使用して複雑なマッピングを学ぶことに焦点を当てている。
しかし、ほとんどのCNNベースのSRアルゴリズムは、中間機能間でのカメラスペクトル感度(CSS)の事前および相互依存性の探索を怠り、SRのネットワークの表現能力と性能を制限している。
これらの問題を克服するために,バックボーンに複数の二重残留注意ブロック(DRAB)を重畳し,長いスキップ接続と短いスキップ接続を施し,二重残留学習を形成する新しい適応重み付き注目ネットワーク(AWAN)を提案する。
具体的には,チャネル間の相関を統合することにより,チャネル毎の特徴応答を再配置する適応型重み付きチャネルアテンション(awca)モジュールについて検討する。
さらに,より強力な特徴表現のために,2次非局所操作による長距離空間空間情報を取り込むパッチレベル2次非局所(psnl)モジュールを開発した。
得られたRGB画像は、再構成されたハイパースペクトル画像(HSI)と所定のCSS関数によって投影できるという事実に基づいて、より正確な再構成のためのより細かい制約として、RGB画像とHSIの相違を組み込む。
実験により,他の最先端SR手法と比較して,定量的比較と知覚品質の観点から,提案したAWANネットワークの有効性が示された。
NTIRE 2020 Spectral Reconstruction Challengeでは、クリーントラックで1位、リアルワールドで3位を獲得しました。
コードはhttps://github.com/deep-imagelab/awanで入手できる。
関連論文リスト
- Learning Detail-Structure Alternative Optimization for Blind
Super-Resolution [69.11604249813304]
そこで我々は,ブラインドSRに先立ってカーネルを曖昧にすることなく,再帰的な詳細構造代替最適化を実現する,有効かつカーネルフリーなネットワークDSSRを提案する。
DSSRでは、細部構造変調モジュール(DSMM)が構築され、画像の詳細と構造の相互作用と協調を利用する。
本手法は既存の手法に対して最先端の手法を実現する。
論文 参考訳（メタデータ） (2022-12-03T14:44:17Z) - Structure-Preserving Image Super-Resolution [94.16949589128296]
単一画像超解像(SISR)の構造
近年の研究では、フォトリアリスティック画像の復元によるSISRの開発が進められている。
しかし、回収された画像にはいまだ望ましくない構造歪みがある。
論文 参考訳（メタデータ） (2021-09-26T08:48:27Z) - Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。
OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。
提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
論文 参考訳（メタデータ） (2021-06-16T15:56:34Z) - A Two-Stage Attentive Network for Single Image Super-Resolution [34.450320969785935]
本稿では,高精度なSISRのための2段階減衰ネットワーク(TSAN)を提案する。
具体的には,ネットワークがより情報的な文脈的特徴に集中できるように,MCAB(Multi-context Attentive Block)を設計する。
本稿では,詳細なHR画像の再構成のために,HR空間で有用な手がかりを探索できる重要な改良されたアテンションブロック(RAB)を提案する。
論文 参考訳（メタデータ） (2021-04-21T12:20:24Z) - Asymmetric CNN for image super-resolution [102.96131810686231]
深層畳み込みニューラルネットワーク(CNN)は、過去5年間で低レベルビジョンに広く適用されています。
画像超解像のための非対称ブロック(AB)、mem?ory拡張ブロック(MEB)、高周波数特徴強調ブロック(HFFEB)からなる非対称CNN(ACNet)を提案する。
我々のACNetは、ブラインドノイズの単一画像超解像(SISR)、ブラインドSISR、ブラインドSISRを効果的に処理できる。
論文 参考訳（メタデータ） (2021-03-25T07:10:46Z) - SFANet: A Spectrum-aware Feature Augmentation Network for
Visible-Infrared Person Re-Identification [12.566284647658053]
クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。
grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。
特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
論文 参考訳（メタデータ） (2021-02-24T08:57:32Z) - Interpreting Super-Resolution Networks with Local Attribution Maps [24.221989130005085]
画像超解像(SR)技術は、ディープネットワークの発明とそれに続くブレークスルーの恩恵を受け、急速に発展してきた。
ディープラーニングとディープニューラルネットワークは解釈が難しいことが認識されている。
本稿では,SR結果に強く影響する入力画素の探索を目的とした,SRネットワークの属性解析を行う。
論文 参考訳（メタデータ） (2020-11-22T15:11:00Z) - Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral
Super-Resolution [79.97180849505294]
本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。
3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
論文 参考訳（メタデータ） (2020-07-10T08:08:20Z) - Lightweight image super-resolution with enhanced CNN [82.36883027158308]
強い表現力を持つ深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像(SISR)において印象的な性能を達成した
情報抽出・拡張ブロック(IEEB)、再構築ブロック(RB)、情報精製ブロック(IRB)の3つの連続したサブブロックを持つ軽量拡張SR CNN(LESRCNN)を提案する。
IEEBは階層的低分解能(LR)特徴を抽出し、SISRの深い層上の浅い層の記憶能力を高めるために、得られた特徴を段階的に集約する。
RBはグローバルに拡散することで低周波特徴を高周波特徴に変換する
論文 参考訳（メタデータ） (2020-07-08T18:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。