論文の概要: Continuous Spectral Reconstruction from RGB Images via Implicit Neural Representation

• arxiv url: http://arxiv.org/abs/2112.13003v1
• Date: Fri, 24 Dec 2021 09:08:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-28 16:01:14.450930
• Title: Continuous Spectral Reconstruction from RGB Images via Implicit Neural Representation
• Title（参考訳）: 入射ニューラル表現によるRGB画像からの連続スペクトル再構成
• Authors: Ruikang Xu, Mingde Yao, Chang Chen, Lizhi Wang, Zhiwei Xiong
• Abstract要約: 既存のスペクトル再構成法は通常、RGB画像から多くのスペクトル帯域への離散写像を学ぶ。 本稿では,ニューラルスペクトル再構成法(NeSR)を提案する。 NeSRは、任意の数のスペクトルバンドを目標出力として可能にすることで、スペクトル再構成の柔軟性を拡大する。
• 参考スコア（独自算出の注目度）: 43.622087181097164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing methods for spectral reconstruction usually learn a discrete mapping from RGB images to a number of spectral bands. However, this modeling strategy ignores the continuous nature of spectral signature. In this paper, we propose Neural Spectral Reconstruction (NeSR) to lift this limitation, by introducing a novel continuous spectral representation. To this end, we embrace the concept of implicit function and implement a parameterized embodiment with a neural network. Specifically, we first adopt a backbone network to extract spatial features of RGB inputs. Based on it, we devise Spectral Profile Interpolation (SPI) module and Neural Attention Mapping (NAM) module to enrich deep features, where the spatial-spectral correlation is involved for a better representation. Then, we view the number of sampled spectral bands as the coordinate of continuous implicit function, so as to learn the projection from deep features to spectral intensities. Extensive experiments demonstrate the distinct advantage of NeSR in reconstruction accuracy over baseline methods. Moreover, NeSR extends the flexibility of spectral reconstruction by enabling an arbitrary number of spectral bands as the target output.
• Abstract（参考訳）: 既存のスペクトル再構成法は通常、RGB画像から多くのスペクトル帯域への離散写像を学ぶ。 しかし、このモデリング戦略はスペクトルシグネチャの連続性を無視している。 本稿では,新しい連続スペクトル表現を導入することにより,この限界を解消するためのニューラルスペクトル再構成(nesr)を提案する。 この目的のために、暗黙の関数の概念を採用し、ニューラルネットワークを用いたパラメータ化実施を行う。 具体的には,まずバックボーンネットワークを用いてRGB入力の空間的特徴を抽出する。 本研究では,スペクトルプロファイル補間(spi)モジュールとニューラル・アテンション・マッピング(nam)モジュール(nam)モジュールを考案し,空間スペクトル相関がより良い表現に関わっている深い特徴を強調する。 次に、サンプルスペクトルバンドの数を連続的な暗黙関数の座標と見なして、深い特徴からスペクトル強度への投影を学習する。 広範な実験により、nesrのベースライン法に対する再構成精度の差が示される。 さらにnesrは、任意の数のスペクトル帯域を目標出力として有効にすることで、スペクトル再構成の柔軟性を拡張する。

関連論文リスト

• Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
  画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。 SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。 スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-19T14:24:03Z)
• SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness for Hyperspectral Object Tracking [21.664141982246598]
  ハイパースペクトルビデオ(HSV)は、空間的、スペクトル的、時間的情報を同時に提供する。 既存の手法は主にバンド再編成に重点を置いており、特徴抽出のためにRGBトラッカーに依存している。 本稿では、超スペクトル(HS)物体追跡において、スペクトル角認識(SST-Net)を用いた空間-スペクトル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T09:37:13Z)
• SpectralNeRF: Physically Based Spectral Rendering with Neural Radiance Field [70.15900280156262]
  本稿では,新しいスペクトルの観点から,高品質な物理ベースレンダリングのためのエンドツーエンドニューラルラジアンスフィールド(NeRF)アーキテクチャを提案する。 スペクトルNeRFは、合成データセットと実データセットの新しいビューを合成する際に、最近のNeRFベースの方法よりも優れている。
  論文  参考訳（メタデータ） (2023-12-14T07:19:31Z)
• Spectral-wise Implicit Neural Representation for Hyperspectral Image Reconstruction [14.621504062838731]
  Coded Aperture Snapshot Spectral Imaging (CASSI) は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 HSIを再構成する既存の方法は、通常、2次元圧縮画像から所定の離散スペクトル帯域のセットへの学習マッピングを含む。 本稿では、この制限に対処するための先駆的なステップとして、スペクトルワイドインシシットニューラル表現(SINR)と呼ばれる革新的な手法を提案する。
  論文  参考訳（メタデータ） (2023-12-02T08:06:07Z)
• MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction [148.26195175240923]
  効率的なスペクトル再構成のためのマルチステージスペクトル変換器(MST++)を提案する。 NTIRE 2022 Spectral Reconstruction Challengeでは、私たちのアプローチが優勝しました。
  論文  参考訳（メタデータ） (2022-04-17T02:39:32Z)
• Implicit Neural Representation Learning for Hyperspectral Image Super-Resolution [0.0]
  Inlicit Neural Representations (INR)は、新しい効果的な表現として進歩を遂げている。 本稿では、空間座標を対応するスペクトル放射率値にマッピングする連続関数により、HSIを表すINRに基づく新しいHSI再構成モデルを提案する。
  論文  参考訳（メタデータ） (2021-12-20T14:07:54Z)
• Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from RGB [84.1657998542458]
  再現精度は、使用中のRGBカメラのスペクトル応答に大きく依存していることが証明されている。 本稿では,既存のrgbカメラのフィルタアレイに基づくカラーイメージング機構を調査し,irカットフィルタの設計方法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T19:42:21Z)
• Spatial-Spectral Feedback Network for Super-Resolution of Hyperspectral Imagery [11.76638109321532]
  ハイパースペクトル画像における高次元および複雑なスペクトルパターンは、バンド間の空間情報とスペクトル情報の同時探索を困難にする。 利用可能なハイパースペクトルトレーニングサンプルの数は極めて少なく、ディープニューラルネットワークのトレーニング時にオーバーフィットする可能性がある。 グローバルスペクトル帯域からの高レベル情報を持つ局所スペクトル帯域間の低レベル表現を洗練するための新しい空間スペクトルフィードバックネットワーク(ssfn)を提案する。
  論文  参考訳（メタデータ） (2021-03-07T13:28:48Z)
• Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery [79.69449412334188]
  本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。 本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。 実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
  論文  参考訳（メタデータ） (2020-05-18T14:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。