論文の概要: MCGA: Mixture of Codebooks Hyperspectral Reconstruction via Grayscale-Aware Attention

• arxiv url: http://arxiv.org/abs/2507.09885v2
• Date: Fri, 19 Sep 2025 16:12:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 14:11:07.144534
• Title: MCGA: Mixture of Codebooks Hyperspectral Reconstruction via Grayscale-Aware Attention
• Title（参考訳）: MCGA:Grayscale-Aware Attentionによるハイパースペクトル再構成
• Authors: Zhanjiang Yang, Lijun Sun, Jiawei Dong, Xiaoxin An, Yang Liu, Meng Li,
• Abstract要約: 我々は,Grayscale-aware Attention frameworkを用いたMixture-of-CodebooksであるMCGAを提案する。 MCGAは異質なHSIデータセットからコードブックの混合を通じて、転送可能なスペクトル前処理を学習する。 ベンチマークと実世界のデータの実験では、最先端の精度、強力なクロスデータセットの一般化、4-5倍高速な推論が示されている。
• 参考スコア（独自算出の注目度）: 14.639924169894785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing hyperspectral images (HSIs) from RGB inputs provides a cost-effective alternative to hyperspectral cameras, but reconstructing high-dimensional spectra from three channels is inherently ill-posed. Existing methods typically directly regress RGB-to-HSI mappings using large attention networks, which are computationally expensive and handle ill-posedness only implicitly. We propose MCGA, a Mixture-of-Codebooks with Grayscale-aware Attention framework that explicitly addresses these challenges using spectral priors and photometric consistency. MCGA first learns transferable spectral priors via a mixture-of-codebooks (MoC) from heterogeneous HSI datasets, then aligns RGB features with these priors through grayscale-aware photometric attention (GANet). Efficiency and robustness are further improved via top-K attention design and test-time adaptation (TTA). Experiments on benchmarks and real-world data demonstrate the state-of-the-art accuracy, strong cross-dataset generalization, and 4-5x faster inference. Codes will be available once acceptance at https://github.com/Fibonaccirabbit/MCGA.
• Abstract（参考訳）: RGB入力から高スペクトル像(HSI)を再構成することは、高スペクトルカメラに代わる費用対効果をもたらすが、3つのチャネルから高次元のスペクトルを再構成することは本質的に不適切である。 既存の手法は、大きな注意ネットワークを用いて直接RGB-to-HSIマッピングを回帰するが、これは計算コストが高く、暗黙的にのみ不適切な処理を行う。 本稿では,スペクトル先行値と光度整合性を用いて,これらの課題に明示的に対処する,Grayscale-aware Attentionフレームワークを備えたMixture-of-CodebooksであるMCGAを提案する。 MCGAはまず、異種HSIデータセットからMoC(Mix-of-codebooks)を介して転送可能なスペクトル先行情報を学習し、その後、グレースケール対応光メトリックアテンション(GANet)を通じてRGB機能をこれらの先行と整合させる。 効率性と堅牢性はTTA(Top-K attention design and test-time adapt)によってさらに向上する。 ベンチマークと実世界のデータの実験では、最先端の精度、強力なクロスデータセットの一般化、4-5倍高速な推論が示されている。 コードはhttps://github.com/Fibonaccirabbit/MCGAで利用可能になる。

関連論文リスト

• Leveraging Multispectral Sensors for Color Correction in Mobile Cameras [22.93423876118074]
  スナップショットマルチスペクトル(MS)イメージングの最近の進歩は、小型で低コストな分光センサを消費者やモバイルデバイス向けに実現している。 エンド・ツー・エンドの色補正を行う統合学習ベースのフレームワークを提案する。 提案手法は,RGBのみのベースラインやMS駆動ベースラインと比較して,誤差を最大50%低減する。
  論文  参考訳（メタデータ） (2025-12-09T10:14:13Z)
• HyPSAM: Hybrid Prompt-driven Segment Anything Model for RGB-Thermal Salient Object Detection [75.406055413928]
  RGB-T SODのための新しいプロンプト駆動セグメントモデル(HyPSAM)を提案する。 DFNetは動的畳み込みとマルチブランチデコーディングを使用して、適応的な相互モダリティ相互作用を促進する。 3つの公開データセットの実験により,本手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-09-23T07:32:11Z)
• Compressive Imaging Reconstruction via Tensor Decomposed Multi-Resolution Grid Encoding [50.54887630778593]
  圧縮画像再構成(CI)は, 圧縮された低次元画像から高次元画像を復元することを目的としている。 既存の教師なし表現は、表現能力と効率の間の望ましいバランスを達成するのに苦労する。 本稿では,CI再構成のための非教師なし連続表現フレームワークである分割多重解像度グリッド符号化(GridTD)を提案する。
  論文  参考訳（メタデータ） (2025-07-10T12:36:20Z)
• Physical Degradation Model-Guided Interferometric Hyperspectral Reconstruction with Unfolding Transformer [10.761506243784744]
  IHI(Interferometric Hyperspectral Imaging)は、大規模なリモートセンシングタスクにおいて重要な技術である。 IHIは撮像工程による複雑なエラーを受けやすく、その品質は既存の信号処理ベースの再構成アルゴリズムによって制限されている。 トレーニングデータセットの欠如と,IHI固有の劣化成分を除去することの難しさという,2つの課題に対処する新しいIHI再構築パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-06-27T03:36:00Z)
• Mixed-granularity Implicit Representation for Continuous Hyperspectral Compressive Reconstruction [16.975538181162616]
  本研究では,暗黙的ニューラル表現を用いた連続型ハイパースペクトル画像再構成法を提案する。 暗黙的な神経表現を活用することで、MGIRフレームワークは任意の望まれる空間スペクトル分解能の再構成を可能にする。
  論文  参考訳（メタデータ） (2025-03-17T03:37:42Z)
• Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
  RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。 局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。 グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
  論文  参考訳（メタデータ） (2025-01-02T15:14:40Z)
• Super-Resolution for Remote Sensing Imagery via the Coupling of a Variational Model and Deep Learning [20.697932997351813]
  リモートセンシング画像再構成のための勾配誘導マルチフレーム超解像(MFSR)フレームワーク リモートセンシング画像再構成のための新しい勾配誘導型マルチフレーム超解像(MFSR)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-13T04:19:48Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
  従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。 近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。 本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
  論文  参考訳（メタデータ） (2023-06-17T14:28:08Z)
• Hyperspectral Image Super Resolution with Real Unaligned RGB Guidance [11.711656319221072]
  異種特徴抽出,多段階特徴アライメント,注意的特徴融合を含むHSI融合ネットワークを提案する。 本手法は, 既存の単一画像と核融合による超解像法に対して, 定量的評価と視覚的比較において明らかに改善されている。
  論文  参考訳（メタデータ） (2023-02-13T11:56:45Z)
• CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient Object Detection [144.66411561224507]
  本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。 我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
  論文  参考訳（メタデータ） (2022-10-06T11:59:19Z)
• Deep Coding Patterns Design for Compressive Near-Infrared Spectral Classification [80.93625278357229]
  スペクトル分類は、測定に埋め込まれたスペクトル情報の量を考慮して、圧縮領域で直接行うことができる。 本研究では,CSIにおける符号化パターンとネットワークパラメータを協調的に設計し,組込み近赤外圧縮測定から直接スペクトル分類を行うエンド・ツー・エンド手法を提案する。
  論文  参考訳（メタデータ） (2022-05-27T15:55:53Z)
• Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging [142.11622043078867]
  圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
  論文  参考訳（メタデータ） (2022-05-20T11:37:44Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging [138.04956118993934]
  HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。 一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。 一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
  論文  参考訳（メタデータ） (2022-03-04T06:37:45Z)
• Spectral Compressive Imaging Reconstruction Using Convolution and Contextual Transformer [6.929652454131988]
  本稿では,CCoT(Contextual Transformer)ブロックというハイブリッドネットワークモジュールを提案する。 提案したCCoTブロックを,一般化された交互投影アルゴリズムに基づく深層展開フレームワークに統合し,さらにGAP-CTネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-15T06:30:03Z)
• Calibrated Hyperspectral Image Reconstruction via Graph-based Self-Tuning Network [40.71031760929464]
  ハイパースペクトルイメージング(HSI)は、特に符号化スナップショット分光イメージング(CASSI)システムに基づく画像に対して、研究の注目を集めている。 既存の深いHSI再構成モデルは、CASSIの特定の光学ハードウェアマスクが与える2次元圧縮計測に基づいて元の信号を取得するために、ペアデータで訓練される。 このマスク固有のトレーニングスタイルは、ハードウェアの誤校正問題を引き起こし、異なるハードウェアとノイズの多い環境間で深いHSIモデルをデプロイする障壁を設定できる。 マスクの空間構造の変化に適応する不確実性を推論するグラフベース自己調整(GST)ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-31T09:39:13Z)
• Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
  この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2021-08-15T05:19:44Z)
• Deep-learning-based Hyperspectral imaging through a RGB camera [6.931572045689959]
  ハイパースペクトル画像(HSI)には、食品の安全性、リモートセンシング、医療検出に広く用いられている空間パターンとスペクトル情報の両方が含まれている。 近年,畳み込みニューラルネットワーク(CNN)アルゴリズムを用いて単一のRGB画像からHSIを再構成できることが報告されている。 本研究では,RGBカメラのスペクトル感度(CSS)がHSIに与える影響に着目した。
  論文  参考訳（メタデータ） (2021-07-12T04:23:25Z)
• Cascade Graph Neural Networks for RGB-D Salient Object Detection [41.57218490671026]
  色情報と深度情報の両方を用いて,RGB-D画像に対する正当性物体検出(SOD)の問題点を考察する。 この2つのデータソース間の相互利益を総合的に蒸留し推論できる統合フレームワークであるCascade Graph Neural Networks(Cas-Gnn)を紹介する。 Cas-Gnnは、いくつかの広く使用されているベンチマークにおいて、既存のRGB-DSODアプローチよりも大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2020-08-07T10:59:04Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。