論文の概要: MCGA: Mixture of Codebooks Hyperspectral Reconstruction via Grayscale-Aware Attention

• arxiv url: http://arxiv.org/abs/2507.09885v1
• Date: Mon, 14 Jul 2025 03:46:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.255552
• Title: MCGA: Mixture of Codebooks Hyperspectral Reconstruction via Grayscale-Aware Attention
• Title（参考訳）: MCGA:Grayscale-Aware Attentionによるハイパースペクトル再構成
• Authors: Zhanjiang Yang, Lijun Sun, Jiawei Dong, Xiaoxin An, Yang Liu, Meng Li,
• Abstract要約: 本稿では,まずスペクトルパターンを学習した2段階のMCGAを提案する。 最初の段階では、マルチスケールのVQ-VAEが異種HSIデータセットから表現を学び、Mixture of Codebooks (MoC)を抽出する。 第2段階では、RGB-to-HSIマッピングは、潜伏したHSI表現を置き換えるためにMoCの機能をクエリすることで洗練される。
• 参考スコア（独自算出の注目度）: 19.156831096843284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing hyperspectral images (HSI) from RGB images is a cost-effective solution for various vision-based applications. However, most existing learning-based hyperspectral reconstruction methods directly learn the RGB-to-HSI mapping using complex attention mechanisms, neglecting the inherent challenge of transitioning from low-dimensional to high-dimensional information. To address this limitation, we propose a two-stage approach, MCGA, which first learns spectral patterns before estimating the mapping. In the first stage, a multi-scale VQ-VAE learns representations from heterogeneous HSI datasets, extracting a Mixture of Codebooks (MoC). In the second stage, the RGB-to-HSI mapping is refined by querying features from the MoC to replace latent HSI representations, incorporating prior knowledge rather than forcing a direct high-dimensional transformation. To further enhance reconstruction quality, we introduce Grayscale-Aware Attention and Quantized Self-Attention, which adaptively adjust feature map intensities to meet hyperspectral reconstruction requirements. This physically motivated attention mechanism ensures lightweight and efficient HSI recovery. Moreover, we propose an entropy-based Test-Time Adaptation strategy to improve robustness in real-world scenarios. Extensive experiments demonstrate that our method, MCGA, achieves state-of-the-art performance. The code and models will be released at https://github.com/Fibonaccirabbit/MCGA
• Abstract（参考訳）: RGB画像からハイパースペクトル画像(HSI)を再構成することは、様々な視覚ベースのアプリケーションにとって、費用対効果の高いソリューションである。 しかし、既存の学習に基づくハイパースペクトル再構成手法は、複雑な注意機構を用いてRGB-HSIマッピングを直接学習し、低次元情報から高次元情報への移行という固有の課題を無視している。 この制限に対処するために、まずスペクトルパターンを学習し、まずマッピングを推定する2段階のアプローチMCGAを提案する。 最初の段階では、マルチスケールのVQ-VAEが異種HSIデータセットから表現を学び、Mixture of Codebooks (MoC)を抽出する。 第2段階では、RGB-to-HSIマッピングは、直接高次元変換を強制するのではなく、事前知識を取り入れて、潜伏したHSI表現を置き換えるため、MoCからの特徴をクエリすることで洗練される。 本研究では,高スペクトル再構成要求を満たすために,特徴マップ強度を適応的に調整するグレイスケール認識と量子自己認識を導入する。 この物理的動機付けされた注意機構により、軽量で効率的なHSI回復が保証される。 さらに,実世界のシナリオにおけるロバスト性を改善するために,エントロピーに基づくテスト時間適応戦略を提案する。 大規模な実験により,我々の手法であるMCGAが最先端の性能を達成できることが実証された。 コードとモデルはhttps://github.com/Fibonaccirabbit/MCGAで公開される。

関連論文リスト

• Compressive Imaging Reconstruction via Tensor Decomposed Multi-Resolution Grid Encoding [50.54887630778593]
  圧縮画像再構成(CI)は, 圧縮された低次元画像から高次元画像を復元することを目的としている。 既存の教師なし表現は、表現能力と効率の間の望ましいバランスを達成するのに苦労する。 本稿では,CI再構成のための非教師なし連続表現フレームワークである分割多重解像度グリッド符号化(GridTD)を提案する。
  論文  参考訳（メタデータ） (2025-07-10T12:36:20Z)
• Physical Degradation Model-Guided Interferometric Hyperspectral Reconstruction with Unfolding Transformer [10.761506243784744]
  IHI(Interferometric Hyperspectral Imaging)は、大規模なリモートセンシングタスクにおいて重要な技術である。 IHIは撮像工程による複雑なエラーを受けやすく、その品質は既存の信号処理ベースの再構成アルゴリズムによって制限されている。 トレーニングデータセットの欠如と,IHI固有の劣化成分を除去することの難しさという,2つの課題に対処する新しいIHI再構築パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-06-27T03:36:00Z)
• Mixed-granularity Implicit Representation for Continuous Hyperspectral Compressive Reconstruction [16.975538181162616]
  本研究では,暗黙的ニューラル表現を用いた連続型ハイパースペクトル画像再構成法を提案する。 暗黙的な神経表現を活用することで、MGIRフレームワークは任意の望まれる空間スペクトル分解能の再構成を可能にする。
  論文  参考訳（メタデータ） (2025-03-17T03:37:42Z)
• Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
  RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。 局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。 グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
  論文  参考訳（メタデータ） (2025-01-02T15:14:40Z)
• Super-Resolution for Remote Sensing Imagery via the Coupling of a Variational Model and Deep Learning [20.697932997351813]
  リモートセンシング画像再構成のための勾配誘導マルチフレーム超解像(MFSR)フレームワーク リモートセンシング画像再構成のための新しい勾配誘導型マルチフレーム超解像(MFSR)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-13T04:19:48Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging [142.11622043078867]
  圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
  論文  参考訳（メタデータ） (2022-05-20T11:37:44Z)
• HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging [138.04956118993934]
  HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。 一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。 一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
  論文  参考訳（メタデータ） (2022-03-04T06:37:45Z)
• Spectral Compressive Imaging Reconstruction Using Convolution and Contextual Transformer [6.929652454131988]
  本稿では,CCoT(Contextual Transformer)ブロックというハイブリッドネットワークモジュールを提案する。 提案したCCoTブロックを,一般化された交互投影アルゴリズムに基づく深層展開フレームワークに統合し,さらにGAP-CTネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-15T06:30:03Z)
• Calibrated Hyperspectral Image Reconstruction via Graph-based Self-Tuning Network [40.71031760929464]
  ハイパースペクトルイメージング(HSI)は、特に符号化スナップショット分光イメージング(CASSI)システムに基づく画像に対して、研究の注目を集めている。 既存の深いHSI再構成モデルは、CASSIの特定の光学ハードウェアマスクが与える2次元圧縮計測に基づいて元の信号を取得するために、ペアデータで訓練される。 このマスク固有のトレーニングスタイルは、ハードウェアの誤校正問題を引き起こし、異なるハードウェアとノイズの多い環境間で深いHSIモデルをデプロイする障壁を設定できる。 マスクの空間構造の変化に適応する不確実性を推論するグラフベース自己調整(GST)ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-31T09:39:13Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。