論文の概要: MCGA: Mixture of Codebooks Hyperspectral Reconstruction via Grayscale-Aware Attention

• arxiv url: http://arxiv.org/abs/2507.09885v1
• Date: Mon, 14 Jul 2025 03:46:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.255552
• Title: MCGA: Mixture of Codebooks Hyperspectral Reconstruction via Grayscale-Aware Attention
• Title（参考訳）: MCGA:Grayscale-Aware Attentionによるハイパースペクトル再構成
• Authors: Zhanjiang Yang, Lijun Sun, Jiawei Dong, Xiaoxin An, Yang Liu, Meng Li,
• Abstract要約: 本稿では,まずスペクトルパターンを学習した2段階のMCGAを提案する。 最初の段階では、マルチスケールのVQ-VAEが異種HSIデータセットから表現を学び、Mixture of Codebooks (MoC)を抽出する。 第2段階では、RGB-to-HSIマッピングは、潜伏したHSI表現を置き換えるためにMoCの機能をクエリすることで洗練される。
• 参考スコア（独自算出の注目度）: 19.156831096843284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing hyperspectral images (HSI) from RGB images is a cost-effective solution for various vision-based applications. However, most existing learning-based hyperspectral reconstruction methods directly learn the RGB-to-HSI mapping using complex attention mechanisms, neglecting the inherent challenge of transitioning from low-dimensional to high-dimensional information. To address this limitation, we propose a two-stage approach, MCGA, which first learns spectral patterns before estimating the mapping. In the first stage, a multi-scale VQ-VAE learns representations from heterogeneous HSI datasets, extracting a Mixture of Codebooks (MoC). In the second stage, the RGB-to-HSI mapping is refined by querying features from the MoC to replace latent HSI representations, incorporating prior knowledge rather than forcing a direct high-dimensional transformation. To further enhance reconstruction quality, we introduce Grayscale-Aware Attention and Quantized Self-Attention, which adaptively adjust feature map intensities to meet hyperspectral reconstruction requirements. This physically motivated attention mechanism ensures lightweight and efficient HSI recovery. Moreover, we propose an entropy-based Test-Time Adaptation strategy to improve robustness in real-world scenarios. Extensive experiments demonstrate that our method, MCGA, achieves state-of-the-art performance. The code and models will be released at https://github.com/Fibonaccirabbit/MCGA
• Abstract（参考訳）: RGB画像からハイパースペクトル画像(HSI)を再構成することは、様々な視覚ベースのアプリケーションにとって、費用対効果の高いソリューションである。 しかし、既存の学習に基づくハイパースペクトル再構成手法は、複雑な注意機構を用いてRGB-HSIマッピングを直接学習し、低次元情報から高次元情報への移行という固有の課題を無視している。 この制限に対処するために、まずスペクトルパターンを学習し、まずマッピングを推定する2段階のアプローチMCGAを提案する。 最初の段階では、マルチスケールのVQ-VAEが異種HSIデータセットから表現を学び、Mixture of Codebooks (MoC)を抽出する。 第2段階では、RGB-to-HSIマッピングは、直接高次元変換を強制するのではなく、事前知識を取り入れて、潜伏したHSI表現を置き換えるため、MoCからの特徴をクエリすることで洗練される。 本研究では,高スペクトル再構成要求を満たすために,特徴マップ強度を適応的に調整するグレイスケール認識と量子自己認識を導入する。 この物理的動機付けされた注意機構により、軽量で効率的なHSI回復が保証される。 さらに,実世界のシナリオにおけるロバスト性を改善するために,エントロピーに基づくテスト時間適応戦略を提案する。 大規模な実験により,我々の手法であるMCGAが最先端の性能を達成できることが実証された。 コードとモデルはhttps://github.com/Fibonaccirabbit/MCGAで公開される。

関連論文リスト

• Leveraging Multispectral Sensors for Color Correction in Mobile Cameras [22.93423876118074]
  スナップショットマルチスペクトル(MS)イメージングの最近の進歩は、小型で低コストな分光センサを消費者やモバイルデバイス向けに実現している。 エンド・ツー・エンドの色補正を行う統合学習ベースのフレームワークを提案する。 提案手法は,RGBのみのベースラインやMS駆動ベースラインと比較して,誤差を最大50%低減する。
  論文  参考訳（メタデータ） (2025-12-09T10:14:13Z)
• HyPSAM: Hybrid Prompt-driven Segment Anything Model for RGB-Thermal Salient Object Detection [75.406055413928]
  RGB-T SODのための新しいプロンプト駆動セグメントモデル(HyPSAM)を提案する。 DFNetは動的畳み込みとマルチブランチデコーディングを使用して、適応的な相互モダリティ相互作用を促進する。 3つの公開データセットの実験により,本手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-09-23T07:32:11Z)
• Compressive Imaging Reconstruction via Tensor Decomposed Multi-Resolution Grid Encoding [50.54887630778593]
  圧縮画像再構成(CI)は, 圧縮された低次元画像から高次元画像を復元することを目的としている。 既存の教師なし表現は、表現能力と効率の間の望ましいバランスを達成するのに苦労する。 本稿では,CI再構成のための非教師なし連続表現フレームワークである分割多重解像度グリッド符号化(GridTD)を提案する。
  論文  参考訳（メタデータ） (2025-07-10T12:36:20Z)
• Physical Degradation Model-Guided Interferometric Hyperspectral Reconstruction with Unfolding Transformer [10.761506243784744]
  IHI(Interferometric Hyperspectral Imaging)は、大規模なリモートセンシングタスクにおいて重要な技術である。 IHIは撮像工程による複雑なエラーを受けやすく、その品質は既存の信号処理ベースの再構成アルゴリズムによって制限されている。 トレーニングデータセットの欠如と,IHI固有の劣化成分を除去することの難しさという,2つの課題に対処する新しいIHI再構築パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-06-27T03:36:00Z)
• Mixed-granularity Implicit Representation for Continuous Hyperspectral Compressive Reconstruction [16.975538181162616]
  本研究では,暗黙的ニューラル表現を用いた連続型ハイパースペクトル画像再構成法を提案する。 暗黙的な神経表現を活用することで、MGIRフレームワークは任意の望まれる空間スペクトル分解能の再構成を可能にする。
  論文  参考訳（メタデータ） (2025-03-17T03:37:42Z)
• Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
  RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。 局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。 グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
  論文  参考訳（メタデータ） (2025-01-02T15:14:40Z)
• Super-Resolution for Remote Sensing Imagery via the Coupling of a Variational Model and Deep Learning [20.697932997351813]
  リモートセンシング画像再構成のための勾配誘導マルチフレーム超解像(MFSR)フレームワーク リモートセンシング画像再構成のための新しい勾配誘導型マルチフレーム超解像(MFSR)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-13T04:19:48Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
  従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。 近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。 本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
  論文  参考訳（メタデータ） (2023-06-17T14:28:08Z)
• Hyperspectral Image Super Resolution with Real Unaligned RGB Guidance [11.711656319221072]
  異種特徴抽出,多段階特徴アライメント,注意的特徴融合を含むHSI融合ネットワークを提案する。 本手法は, 既存の単一画像と核融合による超解像法に対して, 定量的評価と視覚的比較において明らかに改善されている。
  論文  参考訳（メタデータ） (2023-02-13T11:56:45Z)
• CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient Object Detection [144.66411561224507]
  本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。 我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
  論文  参考訳（メタデータ） (2022-10-06T11:59:19Z)
• Deep Coding Patterns Design for Compressive Near-Infrared Spectral Classification [80.93625278357229]
  スペクトル分類は、測定に埋め込まれたスペクトル情報の量を考慮して、圧縮領域で直接行うことができる。 本研究では,CSIにおける符号化パターンとネットワークパラメータを協調的に設計し,組込み近赤外圧縮測定から直接スペクトル分類を行うエンド・ツー・エンド手法を提案する。
  論文  参考訳（メタデータ） (2022-05-27T15:55:53Z)
• Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging [142.11622043078867]
  圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
  論文  参考訳（メタデータ） (2022-05-20T11:37:44Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging [138.04956118993934]
  HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。 一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。 一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
  論文  参考訳（メタデータ） (2022-03-04T06:37:45Z)
• Spectral Compressive Imaging Reconstruction Using Convolution and Contextual Transformer [6.929652454131988]
  本稿では,CCoT(Contextual Transformer)ブロックというハイブリッドネットワークモジュールを提案する。 提案したCCoTブロックを,一般化された交互投影アルゴリズムに基づく深層展開フレームワークに統合し,さらにGAP-CTネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-15T06:30:03Z)
• Calibrated Hyperspectral Image Reconstruction via Graph-based Self-Tuning Network [40.71031760929464]
  ハイパースペクトルイメージング(HSI)は、特に符号化スナップショット分光イメージング(CASSI)システムに基づく画像に対して、研究の注目を集めている。 既存の深いHSI再構成モデルは、CASSIの特定の光学ハードウェアマスクが与える2次元圧縮計測に基づいて元の信号を取得するために、ペアデータで訓練される。 このマスク固有のトレーニングスタイルは、ハードウェアの誤校正問題を引き起こし、異なるハードウェアとノイズの多い環境間で深いHSIモデルをデプロイする障壁を設定できる。 マスクの空間構造の変化に適応する不確実性を推論するグラフベース自己調整(GST)ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-31T09:39:13Z)
• Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
  この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2021-08-15T05:19:44Z)
• Deep-learning-based Hyperspectral imaging through a RGB camera [6.931572045689959]
  ハイパースペクトル画像(HSI)には、食品の安全性、リモートセンシング、医療検出に広く用いられている空間パターンとスペクトル情報の両方が含まれている。 近年,畳み込みニューラルネットワーク(CNN)アルゴリズムを用いて単一のRGB画像からHSIを再構成できることが報告されている。 本研究では,RGBカメラのスペクトル感度(CSS)がHSIに与える影響に着目した。
  論文  参考訳（メタデータ） (2021-07-12T04:23:25Z)
• Cascade Graph Neural Networks for RGB-D Salient Object Detection [41.57218490671026]
  色情報と深度情報の両方を用いて,RGB-D画像に対する正当性物体検出(SOD)の問題点を考察する。 この2つのデータソース間の相互利益を総合的に蒸留し推論できる統合フレームワークであるCascade Graph Neural Networks(Cas-Gnn)を紹介する。 Cas-Gnnは、いくつかの広く使用されているベンチマークにおいて、既存のRGB-DSODアプローチよりも大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2020-08-07T10:59:04Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。