論文の概要: RGB Pre-Training Enhanced Unobservable Feature Latent Diffusion Model for Spectral Reconstruction

• arxiv url: http://arxiv.org/abs/2507.12967v1
• Date: Thu, 17 Jul 2025 10:07:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.448388
• Title: RGB Pre-Training Enhanced Unobservable Feature Latent Diffusion Model for Spectral Reconstruction
• Title（参考訳）: スペクトル再構成のためのRGB前処理による観測不能特徴潜時拡散モデル
• Authors: Keli Deng, Jie Nie, Yuntao Qian,
• Abstract要約: スペクトル構造表現学習とスペクトル-空間共分散学習からなる2段階パイプラインを提案する。 第1段階では、スペクトル可観測特徴オートエンコーダ(SpeUAE)を訓練し、その可観測特徴をRGB空間に整列した3次元多様体に抽出し圧縮する。 その後、ULDMを取得し、対応するRGB画像からのガイダンスで符号化された観測不能な特徴の分布をモデル化する。
• 参考スコア（独自算出の注目度）: 16.54284634377436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spectral reconstruction (SR) is a crucial problem in image processing that requires reconstructing hyperspectral images (HSIs) from the corresponding RGB images. A key difficulty in SR is estimating the unobservable feature, which encapsulates significant spectral information not captured by RGB imaging sensors. The solution lies in effectively constructing the spectral-spatial joint distribution conditioned on the RGB image to complement the unobservable feature. Since HSIs share a similar spatial structure with the corresponding RGB images, it is rational to capitalize on the rich spatial knowledge in RGB pre-trained models for spectral-spatial joint distribution learning. To this end, we extend the RGB pre-trained latent diffusion model (RGB-LDM) to an unobservable feature LDM (ULDM) for SR. As the RGB-LDM and its corresponding spatial autoencoder (SpaAE) already excel in spatial knowledge, the ULDM can focus on modeling spectral structure. Moreover, separating the unobservable feature from the HSI reduces the redundant spectral information and empowers the ULDM to learn the joint distribution in a compact latent space. Specifically, we propose a two-stage pipeline consisting of spectral structure representation learning and spectral-spatial joint distribution learning to transform the RGB-LDM into the ULDM. In the first stage, a spectral unobservable feature autoencoder (SpeUAE) is trained to extract and compress the unobservable feature into a 3D manifold aligned with RGB space. In the second stage, the spectral and spatial structures are sequentially encoded by the SpeUAE and the SpaAE, respectively. The ULDM is then acquired to model the distribution of the coded unobservable feature with guidance from the corresponding RGB images. Experimental results on SR and downstream relighting tasks demonstrate that our proposed method achieves state-of-the-art performance.
• Abstract（参考訳）: スペクトル再構成(SR)は、対応するRGB画像から高スペクトル像(HSI)を再構成する必要がある画像処理において重要な問題である。 SRの主な難点は、RGBイメージングセンサーが捉えない重要なスペクトル情報をカプセル化する観測不可能な特徴を推定することである。 この解は、観測不可能な特徴を補完するために、RGB画像上に条件付けられたスペクトル-空間結合分布を効果的に構築することにある。 HSIは対応するRGB画像と類似した空間構造を持っているため、スペクトル-空間共分散学習のためのRGB事前学習モデルにおいて、豊富な空間知識を活かすことは合理的である。 この目的のために、RGB事前学習潜時拡散モデル(RGB-LDM)をSRのための観測不能特徴LDM(ULDM)に拡張する。 RGB-LDMとその対応する空間オートエンコーダ(SpaAE)は空間知識に優れており、ULDMはスペクトル構造をモデル化することに集中することができる。 さらに、観測不能な特徴をHSIから分離することで、冗長なスペクトル情報を低減し、ULDMにコンパクトな潜伏空間における関節分布を学習させる。 具体的には,RGB-LDMをULDMに変換するために,スペクトル構造表現学習とスペクトル空間共分散学習からなる2段階パイプラインを提案する。 第1段階では、スペクトル可観測特徴オートエンコーダ(SpeUAE)を訓練し、その可観測特徴をRGB空間に整列した3次元多様体に抽出し圧縮する。 第2段階では、スペクトル構造と空間構造はそれぞれSpeUAEとSpaAEによって順次符号化される。 その後、ULDMを取得し、対応するRGB画像からのガイダンスで符号化された観測不能な特徴の分布をモデル化する。 SRおよび下流リライトタスクの実験結果から,提案手法が最先端性能を実現することを示す。

関連論文リスト

• End-to-End RGB-IR Joint Image Compression With Channel-wise Cross-modality Entropy Model [39.52468600966148]
  モダリティの数が増えると、必要なデータストレージと送信コストも2倍になる。 本研究は,RGB-IR画像ペアのための共同圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-27T02:04:21Z)
• CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis [75.25966323298003]
  スペクトルイメージングは、医療や都市景観の理解など、様々な領域で有望な応用を提供する。 スペクトルカメラのチャネル次元と捕獲波長のばらつきは、AI駆動方式の開発を妨げる。 我々は、$textbfC$amera-$textbfA$gnostic $textbfR$esupervised $textbfL$のモデルである$textbfCARL$を紹介した。
  論文  参考訳（メタデータ） (2025-04-27T13:06:40Z)
• Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
  RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。 局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。 グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
  論文  参考訳（メタデータ） (2025-01-02T15:14:40Z)
• Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
  画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。 SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。 スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-19T14:24:03Z)
• EigenSR: Eigenimage-Bridged Pre-Trained RGB Learners for Single Hyperspectral Image Super-Resolution [15.459253235077375]
  単一ハイパースペクトル画像超解像(単一HSI-SR)は、単一入力低解像度HSIの解像度を改善することを目的としている。 データ不足のボトルネックのため、単一HSI-SRの開発はRGBの自然画像よりもはるかに遅れている。
  論文  参考訳（メタデータ） (2024-09-06T06:46:01Z)
• Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
  従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。 近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。 本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
  論文  参考訳（メタデータ） (2023-06-17T14:28:08Z)
• Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution [52.582632746409665]
  カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。 本手法は最先端の手法と比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T06:35:59Z)
• Continuous Spectral Reconstruction from RGB Images via Implicit Neural Representation [43.622087181097164]
  既存のスペクトル再構成法は通常、RGB画像から多くのスペクトル帯域への離散写像を学ぶ。 本稿では,ニューラルスペクトル再構成法(NeSR)を提案する。 NeSRは、任意の数のスペクトルバンドを目標出力として可能にすることで、スペクトル再構成の柔軟性を拡大する。
  論文  参考訳（メタデータ） (2021-12-24T09:08:23Z)
• Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from RGB [84.1657998542458]
  再現精度は、使用中のRGBカメラのスペクトル応答に大きく依存していることが証明されている。 本稿では,既存のrgbカメラのフィルタアレイに基づくカラーイメージング機構を調査し,irカットフィルタの設計方法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T19:42:21Z)
• Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery [79.69449412334188]
  本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。 本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。 実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
  論文  参考訳（メタデータ） (2020-05-18T14:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。