論文の概要: PCMamba: Physics-Informed Cross-Modal State Space Model for Dual-Camera Compressive Hyperspectral Imaging

• arxiv url: http://arxiv.org/abs/2505.16373v1
• Date: Thu, 22 May 2025 08:27:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.147805
• Title: PCMamba: Physics-Informed Cross-Modal State Space Model for Dual-Camera Compressive Hyperspectral Imaging
• Title（参考訳）: PCMamba:Dual-Camera Compressive Hyperspectral Imagingのための物理インフォームドクロスモーダル状態空間モデル
• Authors: Ge Meng, Zhongnan Cai, Jingyan Tu, Yingying Wang, Chenxin Li, Yue Huang, Xinghao Ding,
• Abstract要約: Panchromatic (PAN) -assisted Dual-Camera Compressive Hyperspectral Imaging (DCCHI)は、スナップショットハイパースペクトルイメージングにおいて重要な技術である。 既存の研究は、主に2次元計測からスペクトル情報とPAN画像からの圧縮情報を明示的に探索することに焦点を当てており、HS再建のボトルネックとなっている。 我々は,HSIの前方物理画像処理をMambaの線形空間複雑性に組み込んで,軽量かつ高品質なHSI再構成を容易にする,DCCHIのための物理インフォームド・クロスモーダル・ステート・スペース・モデル・ネットワーク(PCMamba)を提案する。
• 参考スコア（独自算出の注目度）: 32.78020649100015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Panchromatic (PAN) -assisted Dual-Camera Compressive Hyperspectral Imaging (DCCHI) is a key technology in snapshot hyperspectral imaging. Existing research primarily focuses on exploring spectral information from 2D compressive measurements and spatial information from PAN images in an explicit manner, leading to a bottleneck in HSI reconstruction. Various physical factors, such as temperature, emissivity, and multiple reflections between objects, play a critical role in the process of a sensor acquiring hyperspectral thermal signals. Inspired by this, we attempt to investigate the interrelationships between physical properties to provide deeper theoretical insights for HSI reconstruction. In this paper, we propose a Physics-Informed Cross-Modal State Space Model Network (PCMamba) for DCCHI, which incorporates the forward physical imaging process of HSI into the linear complexity of Mamba to facilitate lightweight and high-quality HSI reconstruction. Specifically, we analyze the imaging process of hyperspectral thermal signals to enable the network to disentangle the three key physical properties-temperature, emissivity, and texture. By fully exploiting the potential information embedded in 2D measurements and PAN images, the HSIs are reconstructed through a physics-driven synthesis process. Furthermore, we design a Cross-Modal Scanning Mamba Block (CSMB) that introduces inter-modal pixel-wise interaction with positional inductive bias by cross-scanning the backbone features and PAN features. Extensive experiments conducted on both real and simulated datasets demonstrate that our method significantly outperforms SOTA methods in both quantitative and qualitative metrics.
• Abstract（参考訳）: Panchromatic (PAN) -assisted Dual-Camera Compressive Hyperspectral Imaging (DCCHI)は、スナップショットハイパースペクトルイメージングにおいて重要な技術である。 既存の研究は、主に2次元圧縮計測からスペクトル情報とPAN画像からの空間情報を明示的に探索することに焦点を当てており、HSI再構成のボトルネックとなっている。 温度、放射率、物体間の多重反射などの様々な物理的要因は、高スペクトル熱信号を取得するセンサーの過程において重要な役割を果たす。 そこで本研究では, 物理特性間の相互関係を考察し, HSI再建の理論的知見をより深く提供しようと試みる。 本稿では,HSIの前方物理画像処理をMambaの線形複雑化に組み込んで,軽量かつ高品質なHSI再構成を容易にする,DCCHI用物理インフォームドクロスモーダル状態空間モデルネットワーク(PCMamba)を提案する。 具体的には、ハイパースペクトル熱信号の撮像過程を分析し、ネットワークが3つの物理特性(温度、放射率、テクスチャ)を解離させることを可能にする。 2次元計測とPAN画像に埋め込まれたポテンシャル情報をフル活用することにより、物理駆動合成プロセスを通じてHSIを再構築する。 さらに,背骨特徴とPAN特徴をクロススキャンすることで,画素間相互作用と位置誘導バイアスを両立させるクロスモーダル走査マンバブロック(CSMB)を設計する。 実データとシミュレーションデータの両方で行った大規模な実験により,本手法は定量的および定性的指標の両方においてSOTA法を著しく上回っていることが示された。

関連論文リスト

• Detail Matters: Mamba-Inspired Joint Unfolding Network for Snapshot Spectral Compressive Imaging [40.80197280147993]
  本研究では,HSI再建の非線形および不適切な特徴を克服するために,マンバインスパイアされたジョイント・アンフォールディング・ネットワーク(MiJUN)を提案する。 本稿では,初期最適化段階への依存を減らすために,高速化された展開ネットワーク方式を提案する。 テンソルモード-$k$展開をMambaネットワークに統合することにより,Mambaによる走査戦略を洗練する。
  論文  参考訳（メタデータ） (2025-01-02T13:56:23Z)
• PhysMamba: State Space Duality Model for Remote Physiological Measurement [18.423806804725032]
  リモート光胸腺撮影(remote Photoplethysmography, RBFC)は、顔画像から非接触的な生理的信号の抽出を可能にする。 この研究は、リアルタイム遠隔医療を含む非接触型健康モニタリングの実践的応用の基盤となる。
  論文  参考訳（メタデータ） (2024-08-02T07:52:28Z)
• Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
  本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。 実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• In2SET: Intra-Inter Similarity Exploiting Transformer for Dual-Camera Compressive Hyperspectral Imaging [23.797554145917665]
  In2SET(In-Inter similarity Exploiting Transformer)を導入した新しいDCCHI再構成ネットワークについて紹介する。 本稿では, PAN画像内の相似性を利用して, 元のHSIの相似性を評価することを提案する。 本手法は,再構成画像の空間スペクトルの忠実度と細部を著しく向上させる。
  論文  参考訳（メタデータ） (2023-12-20T13:55:25Z)
• Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency [21.233354336608205]
  本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。 CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2023-07-07T06:47:15Z)
• Object Detection in Hyperspectral Image via Unified Spectral-Spatial Feature Aggregation [55.9217962930169]
  S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。 S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
  論文  参考訳（メタデータ） (2023-06-14T09:01:50Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)
• Hyperspectral Pansharpening Based on Improved Deep Image Prior and Residual Reconstruction [64.10636296274168]
  高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能化 近年,深層畳み込みネットワーク(ConvNets)を用いたHSパンシャープ法が注目に値する結果を得た。 深層層の増加を抑えることで高レベルの特徴を学習することに焦点を当てた,新しいオーバーコンプリートネットワークHyperKiteを提案する。
  論文  参考訳（メタデータ） (2021-07-06T14:11:03Z)
• Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian Photometric Stereo [61.6260594326246]
  空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。 分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
  論文  参考訳（メタデータ） (2021-03-22T18:06:58Z)
• Single-shot Hyperspectral-Depth Imaging with Learned Diffractive Optics [72.9038524082252]
  単発単眼単眼ハイパースペクトル(HS-D)イメージング法を提案する。 本手法では, 回折光学素子 (DOE) を用いる。 DOE の学習を容易にするため,ベンチトップ HS-D イメージラーを構築することで,最初の HS-D データセットを提案する。
  論文  参考訳（メタデータ） (2020-09-01T14:19:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。