論文の概要: SpecSwin3D: Generating Hyperspectral Imagery from Multispectral Data via Transformer Networks

• arxiv url: http://arxiv.org/abs/2509.06122v1
• Date: Sun, 07 Sep 2025 16:18:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.867807
• Title: SpecSwin3D: Generating Hyperspectral Imagery from Multispectral Data via Transformer Networks
• Title（参考訳）: SpecSwin3D:Transformer Networksによるマルチスペクトルデータからのハイパースペクトル画像の生成
• Authors: Tang Sui, Songxi Yang, Qunying Huang,
• Abstract要約: マルチスペクトル入力からハイパースペクトル画像を生成する変換器モデルSpecSwin3Dを提案する。 具体的には、SpecSwin3Dは5つのマルチスペクトルバンドを入力として、同じ空間分解能で224個のハイパースペクトルバンドを再構成する。 本モデルでは,PSNRが35.82dB,SAMが2.40deg,SSIMが0.96,PSNRが5.6dB,ERGASが半分以上,MHF-Netが5.6dBであった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multispectral and hyperspectral imagery are widely used in agriculture, environmental monitoring, and urban planning due to their complementary spatial and spectral characteristics. A fundamental trade-off persists: multispectral imagery offers high spatial but limited spectral resolution, while hyperspectral imagery provides rich spectra at lower spatial resolution. Prior hyperspectral generation approaches (e.g., pan-sharpening variants, matrix factorization, CNNs) often struggle to jointly preserve spatial detail and spectral fidelity. In response, we propose SpecSwin3D, a transformer-based model that generates hyperspectral imagery from multispectral inputs while preserving both spatial and spectral quality. Specifically, SpecSwin3D takes five multispectral bands as input and reconstructs 224 hyperspectral bands at the same spatial resolution. In addition, we observe that reconstruction errors grow for hyperspectral bands spectrally distant from the input bands. To address this, we introduce a cascade training strategy that progressively expands the spectral range to stabilize learning and improve fidelity. Moreover, we design an optimized band sequence that strategically repeats and orders the five selected multispectral bands to better capture pairwise relations within a 3D shifted-window transformer framework. Quantitatively, our model achieves a PSNR of 35.82 dB, SAM of 2.40{\deg}, and SSIM of 0.96, outperforming the baseline MHF-Net by +5.6 dB in PSNR and reducing ERGAS by more than half. Beyond reconstruction, we further demonstrate the practical value of SpecSwin3D on two downstream tasks, including land use classification and burnt area segmentation.
• Abstract（参考訳）: マルチスペクトル・ハイパースペクトル画像は, 農業, 環境モニタリング, 都市計画において, 相補的な空間特性とスペクトル特性のために広く利用されている。 基本的なトレードオフは、マルチスペクトル画像は高い空間分解能を提供するが、ハイパースペクトル画像は低い空間分解能で豊富なスペクトルを提供する。 従来の超スペクトル生成手法(例えば、パンシャーピング変種、行列分解、CNN)は、しばしば空間的詳細とスペクトルの忠実さを共同で保存するのに苦労する。 そこで本研究では,マルチスペクトル入力から高スペクトル画像を生成するトランスフォーマーモデルSpecSwin3Dを提案する。 具体的には、SpecSwin3Dは5つのマルチスペクトルバンドを入力として、同じ空間分解能で224個のハイパースペクトルバンドを再構成する。 さらに,入力帯域からスペクトル距離の超スペクトル帯に対して,再構成誤差が増大することが観察された。 そこで本研究では,スペクトル範囲を段階的に拡大し,学習を安定させ,忠実度を向上させるカスケードトレーニング戦略を提案する。 さらに,3次元シフトウインドウ・トランスフォーマー・フレームワークにおいて,5つの選択したマルチスペクトルバンドを戦略的に繰り返し,ペア関係をよりよく捉えるように最適化したバンドシーケンスを設計する。 定量的には,PSNRが35.82dB,SAMが2.40{\deg},SSIMが0.96,PSNRが5.6dB,ERGASが半分以上である。 再建以外にも,土地利用分類と焼成面積分割を含む2つの下流タスクにおけるSpecSwin3Dの実用的価値をさらに示す。

関連論文リスト

• HyperspectralMAE: The Hyperspectral Imagery Classification Model using Fourier-Encoded Dual-Branch Masked Autoencoder [0.04332259966721321]
  ハイパースペクトル画像は、豊富なスペクトルの詳細を提供するが、空間領域とスペクトル領域の両方において、その高次元性のためにユニークな課題を提起する。 テキストマスキング戦略を用いたハイパースペクトルデータのためのトランスフォーマーベースモデルであるtextitHyperspectralMAE を提案する。 ハイパースペクトルMAEは、二重次元事前学習が頑健なスペクトル空間表現をもたらすことを確認し、インドパインズの最先端の伝達学習精度を達成する。
  論文  参考訳（メタデータ） (2025-05-09T01:16:42Z)
• Hyperspectral Vision Transformers for Greenhouse Gas Estimations from Space [6.559887989252469]
  本研究では,マルチスペクトル入力から高スペクトルデータを合成するスペクトル変換器モデルを提案する。 モデルは、バンドワイドマスク付きオートエンコーダを介して事前訓練され、その後、アライメントされたマルチスペクトル-ハイパースペクトル画像対に微調整される。 得られた合成ハイパースペクトルデータは、マルチスペクトル画像の空間的および時間的利点を保持し、GHG予測精度を向上させる。
  論文  参考訳（メタデータ） (2025-04-23T16:19:42Z)
• Hyperspectral Neural Radiance Fields [11.485829401765521]
  ニューラルラジアンス場(NeRF)を用いたハイパースペクトル3次元再構成を提案する。 NeRFは、様々なカメラモデルによって捉えられたシーンの高品質なボリューム3D表現を作ることで広く成功している。 提案手法により,高速かつ高精度な3次元ハイパースペクトルシーンの創出が可能となった。
  論文  参考訳（メタデータ） (2024-03-21T21:18:08Z)
• Cross-Scope Spatial-Spectral Information Aggregation for Hyperspectral Image Super-Resolution [47.12985199570964]
  超高分解能超高分解能画像の長距離空間およびスペクトル類似性を調べるために,新しいクロススコープ空間スペクトル変換器(CST)を提案する。 具体的には,長距離空間スペクトル特性を包括的にモデル化するために,空間次元とスペクトル次元のクロスアテンション機構を考案する。 3つの超スペクトルデータセットに対する実験により、提案したCSTは他の最先端手法よりも定量的にも視覚的にも優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-29T03:38:56Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• S^2-Transformer for Mask-Aware Hyperspectral Image Reconstruction [59.39343894089959]
  トランスフォーマー再構成バックエンドを備えたスナップショット圧縮撮像器(CASSI)は、高忠実度センシング性能を示す。 空間的およびスペクトル的アテンションデザインは ハイパースペクトルモデリングの限界を示します パラレルアテンション設計とマスク認識学習戦略により実装された空間スペクトル(S2-)変換器を提案する。
  論文  参考訳（メタデータ） (2022-09-24T19:26:46Z)
• Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery [79.69449412334188]
  本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。 本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。 実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
  論文  参考訳（メタデータ） (2020-05-18T14:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。