論文の概要: S^2-Transformer for Mask-Aware Hyperspectral Image Reconstruction

• arxiv url: http://arxiv.org/abs/2209.12075v3
• Date: Wed, 19 Mar 2025 23:57:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 19:00:16.842803
• Title: S^2-Transformer for Mask-Aware Hyperspectral Image Reconstruction
• Title（参考訳）: マスク対応ハイパースペクトル画像再構成のためのS^2変換器
• Authors: Jiamian Wang, Kunpeng Li, Yulun Zhang, Xin Yuan, Zhiqiang Tao,
• Abstract要約: トランスフォーマー再構成バックエンドを備えたスナップショット圧縮撮像器(CASSI)は、高忠実度センシング性能を示す。 空間的およびスペクトル的アテンションデザインは ハイパースペクトルモデリングの限界を示します パラレルアテンション設計とマスク認識学習戦略により実装された空間スペクトル(S2-)変換器を提案する。
• 参考スコア（独自算出の注目度）: 59.39343894089959
• License:
• Abstract: Snapshot compressive imaging (SCI) surges as a novel way of capturing hyperspectral images. It operates an optical encoder to compress the 3D data into a 2D measurement and adopts a software decoder for the signal reconstruction. Recently, a representative SCI set-up of coded aperture snapshot compressive imager (CASSI) with Transformer reconstruction backend remarks high-fidelity sensing performance. However, dominant spatial and spectral attention designs show limitations in hyperspectral modeling. The spatial attention values describe the inter-pixel correlation but overlook the across-spectra variation within each pixel. The spectral attention size is unscalable to the token spatial size and thus bottlenecks information allocation. Besides, CASSI entangles the spatial and spectral information into a 2D measurement, placing a barrier for information disentanglement and modeling. In addition, CASSI blocks the light with a physical binary mask, yielding the masked data loss. To tackle above challenges, we propose a spatial-spectral (S2-) Transformer implemented by a paralleled attention design and a mask-aware learning strategy. Firstly, we systematically explore pros and cons of different spatial (-spectral) attention designs, based on which we find performing both attentions in parallel well disentangles and models the blended information. Secondly, the masked pixels induce higher prediction difficulty and should be treated differently from unmasked ones. We adaptively prioritize the loss penalty attributing to the mask structure by referring to the mask-encoded prediction as an uncertainty estimator. We theoretically discuss the distinct convergence tendencies between masked/unmasked regions of the proposed learning strategy. Extensive experiments demonstrate that on average, the results of the proposed method are superior over the state-of-the-art method.
• Abstract（参考訳）: スナップショット圧縮イメージング(SCI)は、ハイパースペクトル画像をキャプチャする新しい方法として浮上する。 3Dデータを2次元計測に圧縮する光学エンコーダを動作させ、信号再構成にソフトウェアデコーダを採用する。 近年,トランスフォーマー再構成バックエンドを用いた符号化開口スナップショット圧縮画像(CASSI)のSCI設定では,高忠実度センシング性能が注目されている。 しかし、空間的およびスペクトル的アテンションの設計は、ハイパースペクトルモデリングの限界を示している。 空間的注意値は、画素間相関を記述するが、各画素内のスペクトル間変動を見渡す。 スペクトルアテンションサイズはトークン空間サイズに比例せず、情報アロケーションのボトルネックとなる。 さらに、CASSIは空間情報とスペクトル情報を2次元計測に絡み合わせることで、情報の切り離しとモデリングのための障壁を置く。 さらに、CASSIは物理的なバイナリマスクで光を遮断し、マスクされたデータ損失を発生させる。 上記の課題に対処するため,パラレルアテンション設計とマスク認識学習戦略により実装された空間スペクトル(S2-)変換器を提案する。 まず,異なる空間的(スペクトル的)アテンションデザインの長所と短所を体系的に探索し,両アテンションを並列に不整合で実行し,ブレンドした情報をモデル化する。 第二に、マスクされたピクセルは予測の難しさを増し、未加工のピクセルと異なる扱いをすべきである。 マスク符号化予測を不確実性推定器として,マスク構造に起因する損失ペナルティを適応的に優先順位付けする。 理論的には,提案した学習戦略のマスキング/アンマスキード領域間の差分収束傾向について論じる。 実験の結果,提案手法は最先端の手法よりも高い結果が得られた。

関連論文リスト

• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• Flow-Attention-based Spatio-Temporal Aggregation Network for 3D Mask Detection [12.160085404239446]
  本稿では,FASTENと呼ばれる新しい3次元マスク検出フレームワークを提案する。 ネットワークが大きな動きの細部に集中するように調整することで、余分な時間的特徴干渉を排除できる。 FASTENは5フレームの入力しか必要とせず、データ内評価とクロスデータセット評価の両方で8つの競合より優れている。
  論文  参考訳（メタデータ） (2023-10-25T11:54:21Z)
• Aperture Diffraction for Compact Snapshot Spectral Imaging [27.321750056840706]
  我々は、Aperture Diffraction Imaging Spectrometer (ADIS) という、コンパクトで費用効率の良いスナップショット分光画像システムを紹介した。 モザイクフィルタセンサ上の離散符号化位置にオブジェクト空間の各点を多重化する新しい光学設計を導入する。 回折変性を強く知覚するカスケードシフトシャッフルスペクトル変換器(CSST)は、空間制約の逆問題を解決するために設計されている。
  論文  参考訳（メタデータ） (2023-09-27T16:48:46Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• D$^\text{2}$UF: Deep Coded Aperture Design and Unrolling Algorithm for Compressive Spectral Image Fusion [22.0246327137227]
  本稿では,低空間分解能符号化開口スペクトル撮像器 (CASSI) アーキテクチャと高空間分解能マルチスペクトルカラーフィルタアレイ (MCFA) システムの圧縮測定の融合について述べる。 本稿では,従来のCSIFと異なり,エンド・ツー・エンド(E2E)方式でセンサアーキテクチャと再構成ネットワークを協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-05-24T15:39:34Z)
• Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging [142.11622043078867]
  圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
  論文  参考訳（メタデータ） (2022-05-20T11:37:44Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。