論文の概要: EigenSR: Eigenimage-Bridged Pre-Trained RGB Learners for Single Hyperspectral Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2409.04050v1
- Date: Fri, 6 Sep 2024 06:46:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 16:36:07.822817
- Title: EigenSR: Eigenimage-Bridged Pre-Trained RGB Learners for Single Hyperspectral Image Super-Resolution
- Title（参考訳）: EigenSR:単一ハイパースペクトル画像超解法のための固有ブリッジ付きRGB学習者
- Authors: Xi Su, Xiangfei Shen, Mingyang Wan, Jing Nie, Lihui Chen, Haijun Liu, Xichuan Zhou,
- Abstract要約: 単一ハイパースペクトル画像超解像(単一HSI-SR)は、単一入力低解像度HSIの解像度を改善することを目的としている。
データ不足のボトルネックのため、シングルHSI-SRはRGBの自然画像よりもはるかに遅れている。
本稿では,まず事前学習したモデルを空間成分で微調整し,次に反復スペクトル正則化を用いて未知のHSIを推論する新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 15.459253235077375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Single hyperspectral image super-resolution (single-HSI-SR) aims to improve the resolution of a single input low-resolution HSI. Due to the bottleneck of data scarcity, the development of single-HSI-SR lags far behind that of RGB natural images. In recent years, research on RGB SR has shown that models pre-trained on large-scale benchmark datasets can greatly improve performance on unseen data, which may stand as a remedy for HSI. But how can we transfer the pre-trained RGB model to HSI, to overcome the data-scarcity bottleneck? Because of the significant difference in the channels between the pre-trained RGB model and the HSI, the model cannot focus on the correlation along the spectral dimension, thus limiting its ability to utilize on HSI. Inspired by the HSI spatial-spectral decoupling, we propose a new framework that first fine-tunes the pre-trained model with the spatial components (known as eigenimages), and then infers on unseen HSI using an iterative spectral regularization (ISR) to maintain the spectral correlation. The advantages of our method lie in: 1) we effectively inject the spatial texture processing capabilities of the pre-trained RGB model into HSI while keeping spectral fidelity, 2) learning in the spectral-decorrelated domain can improve the generalizability to spectral-agnostic data, and 3) our inference in the eigenimage domain naturally exploits the spectral low-rank property of HSI, thereby reducing the complexity. This work bridges the gap between pre-trained RGB models and HSI via eigenimages, addressing the issue of limited HSI training data, hence the name EigenSR. Extensive experiments show that EigenSR outperforms the state-of-the-art (SOTA) methods in both spatial and spectral metrics. Our code will be released.
- Abstract（参考訳）: 単一ハイパースペクトル画像超解像(単一HSI-SR)は、単一入力低解像度HSIの解像度を改善することを目的としている。
データ不足のボトルネックのため、単一HSI-SRの開発はRGBの自然画像よりもはるかに遅れている。
近年、RGB SRの研究により、大規模なベンチマークデータセットで事前訓練されたモデルでは、見えないデータのパフォーマンスが大幅に向上することが示されている。
しかし、データスカシティのボトルネックを克服するために、事前訓練されたRGBモデルをHSIに転送するにはどうすればよいのか?
事前訓練されたRGBモデルとHSIのチャネルに有意な違いがあるため、モデルではスペクトル次元に沿った相関に焦点を合わせることができないため、HSIでの利用能力は制限される。
HSI空間スペクトル分離に着想を得て,まず事前学習したモデルを空間成分(固有画像)で微調整し,その後,反復スペクトル正則化(ISR)を用いて未知のHSIに推論してスペクトル相関を維持する新しい枠組みを提案する。
我々の方法の利点は次のとおりである。
1) スペクトル忠実度を維持しつつ, 事前学習したRGBモデルの空間テクスチャ処理能力をHSIに効果的に注入する。
2)スペクトル非相関領域における学習は、スペクトル非依存データへの一般化性を向上し得る。
3) 固有値領域での推測は, HSIのスペクトル低ランク特性を自然に利用し, 複雑さを低減させる。
この研究は、事前訓練されたRGBモデルと固有画像によるHSI間のギャップを埋め、限られたHSIトレーニングデータの問題に対処する。
大規模な実験により、EigenSRは空間とスペクトルの両方で最先端のSOTA(State-of-the-art)法より優れていることが示された。
私たちのコードは解放されます。
関連論文リスト
- HSIGene: A Foundation Model For Hyperspectral Image Generation [46.745198868466545]
ハイパースペクトル画像(HSI)は農業や環境モニタリングなど様々な分野で重要な役割を果たしている。
高価な取得コストのため、ハイパースペクトル画像の数は制限され、下流タスクのパフォーマンスが低下する。
遅延拡散に基づく多条件制御をサポートする新しいHSI生成基盤モデルであるHSIGeneを提案する。
実験により,提案モデルでは,デノナイズや超解像といった下流タスクに対して,膨大な量の現実的なHSIを生成することができることが示された。
論文 参考訳（メタデータ） (2024-09-19T05:17:44Z) - Test-time Training for Hyperspectral Image Super-resolution [95.38382633281398]
ハイパースペクトル画像(HSI)超解像(SR)は、まだRGB画像SRの研究に遅れを取っている。
本研究では,この問題に対処するための新しいテストタイムトレーニング手法を提案する。
具体的には、より正確な擬似ラベルとより正確なLR-HR関係を生成する新しい自己学習フレームワークを開発する。
論文 参考訳（メタデータ） (2024-09-13T09:30:19Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳（メタデータ） (2023-07-26T07:45:14Z) - Spectral Enhanced Rectangle Transformer for Hyperspectral Image
Denoising [64.11157141177208]
ハイパースペクトル画像の空間的およびスペクトル的相関をモデル化するスペクトル拡張矩形変換器を提案する。
前者に対しては、長方形自己アテンションを水平および垂直に利用し、空間領域における非局所的類似性を捉える。
後者のために,空間スペクトル立方体の大域的低ランク特性を抽出し,雑音を抑制するスペクトル拡張モジュールを設計する。
論文 参考訳（メタデータ） (2023-04-03T09:42:13Z) - Hyperspectral Image Super Resolution with Real Unaligned RGB Guidance [11.711656319221072]
異種特徴抽出,多段階特徴アライメント,注意的特徴融合を含むHSI融合ネットワークを提案する。
本手法は, 既存の単一画像と核融合による超解像法に対して, 定量的評価と視覚的比較において明らかに改善されている。
論文 参考訳（メタデータ） (2023-02-13T11:56:45Z) - HPRN: Holistic Prior-embedded Relation Network for Spectral
Super-Resolution [31.19959462235001]
スペクトル超解像 (SSR) とは、高スペクトル像(HSI)をRGBから回収することを指す。
この曖昧な問題に対処する鍵は、複数ソースの事前情報をプラグインすることである。
本稿では,SSRのための新しい総合的事前組込みネットワーク(HPRN)を提案する。
論文 参考訳（メタデータ） (2021-12-29T15:43:20Z) - Hyperspectral Pansharpening Based on Improved Deep Image Prior and
Residual Reconstruction [64.10636296274168]
高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能化
近年,深層畳み込みネットワーク(ConvNets)を用いたHSパンシャープ法が注目に値する結果を得た。
深層層の増加を抑えることで高レベルの特徴を学習することに焦点を当てた,新しいオーバーコンプリートネットワークHyperKiteを提案する。
論文 参考訳（メタデータ） (2021-07-06T14:11:03Z) - Learning to Enhance Visual Quality via Hyperspectral Domain Mapping [8.365634649800658]
SpecNetはスペクトルプロファイルを計算し、所定の画像の画素単位のダイナミックレンジ調整を推定する。
我々は、RGB画像から可視HSIを推測するために、自己スーパービジョンとスペクトルプロファイル正規化ネットワークを組み込んだ。
論文 参考訳（メタデータ） (2021-02-10T13:27:34Z) - Hyperspectral Image Super-Resolution with Spectral Mixup and
Heterogeneous Datasets [99.92564298432387]
ハイパースペクトル画像(HSI)超解像(SR)の研究
HSI SRは高次元データと限られたトレーニング例によって特徴づけられる。
これにより、非分布サンプルに対する記憶や感度などのニューラルネットワークの望ましくない動作が悪化する。
論文 参考訳（メタデータ） (2021-01-19T12:19:53Z) - Fast Hyperspectral Image Recovery via Non-iterative Fusion of
Dual-Camera Compressive Hyperspectral Imaging [22.683482662362337]
符号化開口分光画像(CASSI)は3次元ハイパースペクトル像(HSI)を撮像するための有望な技術である
様々な正規化器を用いて2次元計測から3次元データを再構成している。
実現可能な解決策の1つは、CASSIのRGB測定などの追加情報を活用することです。
論文 参考訳（メタデータ） (2020-12-30T10:29:32Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳（メタデータ） (2020-05-18T14:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。