論文の概要: Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging

• arxiv url: http://arxiv.org/abs/2205.10102v1
• Date: Fri, 20 May 2022 11:37:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 15:41:53.469072
• Title: Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging
• Title（参考訳）: スペクトル圧縮イメージング用分解対応半シャッフル変圧器
• Authors: Yuanhao Cai, Jing Lin, Haoqian Wang, Xin Yuan, Henghui Ding, Yulun Zhang, Radu Timofte, Luc Van Gool
• Abstract要約: 圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
• 参考スコア（独自算出の注目度）: 142.11622043078867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In coded aperture snapshot spectral compressive imaging (CASSI) systems, hyperspectral image (HSI) reconstruction methods are employed to recover the spatial-spectral signal from a compressed measurement. Among these algorithms, deep unfolding methods demonstrate promising performance but suffer from two issues. Firstly, they do not estimate the degradation patterns and ill-posedness degree from the highly related CASSI to guide the iterative learning. Secondly, they are mainly CNN-based, showing limitations in capturing long-range dependencies. In this paper, we propose a principled Degradation-Aware Unfolding Framework (DAUF) that estimates parameters from the compressed image and physical mask, and then uses these parameters to control each iteration. Moreover, we customize a novel Half-Shuffle Transformer (HST) that simultaneously captures local contents and non-local dependencies. By plugging HST into DAUF, we establish the first Transformer-based deep unfolding method, Degradation-Aware Unfolding Half-Shuffle Transformer (DAUHST), for HSI reconstruction. Experiments show that DAUHST significantly surpasses state-of-the-art methods while requiring cheaper computational and memory costs. Code and models will be released to the public.
• Abstract（参考訳）: 符号化開口スペクトル圧縮画像(CASSI)システムでは、圧縮測定から空間スペクトル信号を復元するためにハイパースペクトル画像(HSI)再構成法が用いられる。 これらのアルゴリズムのうち、深い展開手法は有望な性能を示すが、2つの問題に苦しむ。 まず,高度に関連したcassiから劣化パターンや不適格度を推定せず,反復学習の指導を行う。 第2に、それらは主にcnnベースで、長距離依存関係のキャプチャに制限がある。 本稿では,圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各繰り返しを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 さらに,ローカルコンテンツと非ローカル依存性を同時にキャプチャする新しいハーフシャッフルトランスフォーマー(hst)をカスタマイズする。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立する。 実験により、DAUHSTは最先端の手法をはるかに上回り、安価な計算とメモリコストを必要とすることが示された。 コードとモデルは一般公開される予定だ。

関連論文リスト

• Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
  AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。 実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• Coarse-Fine Spectral-Aware Deformable Convolution For Hyperspectral Image Reconstruction [15.537910100051866]
  Coded Aperture Snapshot Spectral Imaging (CASSI) の逆問題について検討する。 粗面スペクトル対応変形性畳み込みネットワーク(CFSDCN)を提案する。 我々のCFSDCNは、シミュレーションされたHSIデータセットと実際のHSIデータセットの両方において、従来の最先端(SOTA)メソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-06-18T15:15:12Z)
• Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
  本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。 具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。 さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
  論文  参考訳（メタデータ） (2024-03-30T08:05:00Z)
• Latent Diffusion Prior Enhanced Deep Unfolding for Snapshot Spectral Compressive Imaging [17.511583657111792]
  スナップショット分光画像再構成は、単発2次元圧縮計測から3次元空間スペクトル像を再構成することを目的としている。 我々は, 深部展開法に先立って劣化のないモデルを生成するため, 遅延拡散モデル(LDM)という生成モデルを導入する。
  論文  参考訳（メタデータ） (2023-11-24T04:55:20Z)
• Pixel Adaptive Deep Unfolding Transformer for Hyperspectral Image Reconstruction [58.32266851510948]
  我々は,HSI再構成のためのPixel Adaptive Deep Unfolding Transformer (PADUT)を提案する。 データモジュールでは、画素レベルの劣化に焦点を合わせるために、画素適応降下ステップが使用される。 先行モジュールでは、非局所スペクトル変換器(NST)を導入し、回復のためのHSIの3次元特性を強調する。
  論文  参考訳（メタデータ） (2023-08-21T16:12:31Z)
• Unfolding Framework with Prior of Convolution-Transformer Mixture and Uncertainty Estimation for Video Snapshot Compressive Imaging [7.601695814245209]
  本稿では, 連続する高速フレームを異なるマスクで変調し, 単一の計測でキャプチャする, ビデオスナップショット圧縮画像(SCI)の問題点について考察する。 最適化アルゴリズムとニューラルネットワークを組み合わせることで、ディープ・アンフォールディング・ネットワーク(DUN)は、逆問題の解決において大きな成果を上げた。
  論文  参考訳（メタデータ） (2023-06-20T06:25:48Z)
• MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction [148.26195175240923]
  効率的なスペクトル再構成のためのマルチステージスペクトル変換器(MST++)を提案する。 NTIRE 2022 Spectral Reconstruction Challengeでは、私たちのアプローチが優勝しました。
  論文  参考訳（メタデータ） (2022-04-17T02:39:32Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。