論文の概要: In2SET: Intra-Inter Similarity Exploiting Transformer for Dual-Camera Compressive Hyperspectral Imaging

• arxiv url: http://arxiv.org/abs/2312.13319v2
• Date: Sat, 8 Jun 2024 14:25:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 04:18:44.197920
• Title: In2SET: Intra-Inter Similarity Exploiting Transformer for Dual-Camera Compressive Hyperspectral Imaging
• Title（参考訳）: In2SET:Dual-Camera Compressive Hyperspectral ImagingのためのInter-Inter similarity Exploiting Transformer
• Authors: Xin Wang, Lizhi Wang, Xiangtian Ma, Maoqing Zhang, Lin Zhu, Hua Huang,
• Abstract要約: In2SET(In-Inter similarity Exploiting Transformer)を導入した新しいDCCHI再構成ネットワークについて紹介する。 本稿では, PAN画像内の相似性を利用して, 元のHSIの相似性を評価することを提案する。 本手法は,再構成画像の空間スペクトルの忠実度と細部を著しく向上させる。
• 参考スコア（独自算出の注目度）: 23.797554145917665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dual-Camera Compressed Hyperspectral Imaging (DCCHI) offers the capability to reconstruct 3D Hyperspectral Image (HSI) by fusing compressive and Panchromatic (PAN) image, which has shown great potential for snapshot hyperspectral imaging in practice. In this paper, we introduce a novel DCCHI reconstruction network, the Intra-Inter Similarity Exploiting Transformer (In2SET). Our key insight is to make full use of the PAN image to assist the reconstruction. To this end, we propose using the intra-similarity within the PAN image as a proxy for approximating the intra-similarity in the original HSI, thereby offering an enhanced content prior for more accurate HSI reconstruction. Furthermore, we aim to align the features from the underlying HSI with those of the PAN image, maintaining semantic consistency and introducing new contextual information for the reconstruction process. By integrating In2SET into a PAN-guided unrolling framework, our method substantially enhances the spatial-spectral fidelity and detail of the reconstructed images, providing a more comprehensive and accurate depiction of the scene. Extensive experiments conducted on both real and simulated datasets demonstrate that our approach consistently outperforms existing state-of-the-art methods in terms of reconstruction quality and computational complexity. Code will be released.
• Abstract（参考訳）: Dual-Camera Compressed Hyperspectral Imaging (DCCHI)は、3Dハイパースペクトル画像(HSI)を圧縮およびパンクロマティック(PAN)画像に融合させて再構成する機能を提供する。 本稿では,新しいDCCHI再構成ネットワークであるIntra-Inter similarity Exploiting Transformer(In2SET)を紹介する。 私たちの重要な洞察は、PANイメージをフル活用して再建を支援することです。 そこで本研究では, PAN画像内の類似度を, 元のHSIの類似度を近似するプロキシとして利用し, より正確なHSI再構成に先立って, 拡張コンテンツを提供することを提案する。 さらに,基礎となるHSIとPAN画像の特徴を一致させ,意味的整合性を維持し,再構築プロセスに新たなコンテキスト情報を導入することを目的とする。 In2SETを Pan-Guided Unrolling フレームワークに統合することにより,再構成画像の空間スペクトルの忠実度と詳細性を大幅に向上し,より包括的で正確なシーン描写を実現する。 実データとシミュレーションデータの両方で行った大規模な実験により、我々のアプローチは再構築品質と計算複雑性の観点から既存の最先端手法を一貫して上回っていることが示された。 コードはリリースされる。

関連論文リスト

• IPT-V2: Efficient Image Processing Transformer using Hierarchical Attentions [26.09373405194564]
  我々は,IPTV2と呼ばれる階層的な注意を払って,効率的な画像処理トランスフォーマアーキテクチャを提案する。 我々は、局所的およびグローバルな受容領域における適切なトークン相互作用を得るために、焦点コンテキスト自己注意(FCSA)とグローバルグリッド自己注意(GGSA)を採用する。 提案した IPT-V2 は,様々な画像処理タスクにおいて,デノナイズ,デブロアリング,デコライニングを網羅し,従来の手法よりも性能と計算の複雑さのトレードオフを得る。
  論文  参考訳（メタデータ） (2024-03-31T10:01:20Z)
• DuDoUniNeXt: Dual-domain unified hybrid model for single and multi-contrast undersampled MRI reconstruction [24.937435059755288]
  そこで我々はDuDoUniNeXtを提案する。DuDoUniNeXtは、不在、低品質、高品質な参照画像を含むシナリオに対応可能な、統合されたデュアルドメインMRI再構成ネットワークである。 実験により,提案モデルが最先端のSCモデルとMCモデルを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2024-03-08T12:26:48Z)
• HAT: Hybrid Attention Transformer for Image Restoration [61.74223315807691]
  トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。 本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。 我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-09-11T05:17:55Z)
• Image Reconstruction using Enhanced Vision Transformer [0.08594140167290097]
  画像のデノイング,デブロアリング,インペイントといったタスクに使用できる新しい画像再構成フレームワークを提案する。 このプロジェクトで提案されるモデルは、2次元画像を入力として取り込んで埋め込みを出力するビジョントランスフォーマー(ViT)に基づいている。 モデル再構築機能を改善するために,フレームワークに4つの最適化手法を組み込んだ。
  論文  参考訳（メタデータ） (2023-07-11T02:14:18Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• Transformer-empowered Multi-scale Contextual Matching and Aggregation for Multi-contrast MRI Super-resolution [55.52779466954026]
  マルチコントラスト・スーパーレゾリューション (SR) 再構成により, SR画像の高画質化が期待できる。 既存の手法では、これらの特徴をマッチングし、融合させる効果的なメカニズムが欠如している。 そこで本稿では,トランスフォーマーを利用したマルチスケールコンテキストマッチングとアグリゲーション技術を開発することで,これらの問題を解決する新しいネットワークを提案する。
  論文  参考訳（メタデータ） (2022-03-26T01:42:59Z)
• Cross-View Panorama Image Synthesis [68.35351563852335]
  PanoGANは、新しい敵対的フィードバックGANフレームワークである。 PanoGANは、最先端のアプローチよりもより説得力のある、高品質なパノラマ画像生成を可能にする。
  論文  参考訳（メタデータ） (2022-03-22T15:59:44Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Hyperspectral Pansharpening Based on Improved Deep Image Prior and Residual Reconstruction [64.10636296274168]
  高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能化 近年,深層畳み込みネットワーク(ConvNets)を用いたHSパンシャープ法が注目に値する結果を得た。 深層層の増加を抑えることで高レベルの特徴を学習することに焦点を当てた,新しいオーバーコンプリートネットワークHyperKiteを提案する。
  論文  参考訳（メタデータ） (2021-07-06T14:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。