論文の概要: S^2-Transformer for Mask-Aware Hyperspectral Image Reconstruction

• arxiv url: http://arxiv.org/abs/2209.12075v1
• Date: Sat, 24 Sep 2022 19:26:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 17:25:02.120216
• Title: S^2-Transformer for Mask-Aware Hyperspectral Image Reconstruction
• Title（参考訳）: マスク対応ハイパースペクトル画像再構成のためのS^2変換器
• Authors: Jiamian Wang, Kunpeng Li, Yulun Zhang, Xin Yuan, Zhiqiang Tao
• Abstract要約: 代表的ハイパースペクトル画像取得手順は、符号化開口分光画像センサ(CASSI)による3D-to-2D符号化を行う i) 2次元計測を得るために、CASSIは分散器タイトリングにより複数のチャネルを分散させ、それらを同じ空間領域に絞り込み、絡み合ったデータ損失をもたらす。 本稿では,これらの課題に対処するためのマスク対応学習戦略を備えた空間スペクトル(S2-)トランスフォーマーアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 48.83280067393851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The technology of hyperspectral imaging (HSI) records the visual information upon long-range-distributed spectral wavelengths. A representative hyperspectral image acquisition procedure conducts a 3D-to-2D encoding by the coded aperture snapshot spectral imager (CASSI), and requires a software decoder for the 3D signal reconstruction. Based on this encoding procedure, two major challenges stand in the way of a high-fidelity reconstruction: (i) To obtain 2D measurements, CASSI dislocates multiple channels by disperser-titling and squeezes them onto the same spatial region, yielding an entangled data loss. (ii) The physical coded aperture (mask) will lead to a masked data loss by selectively blocking the pixel-wise light exposure. To tackle these challenges, we propose a spatial-spectral (S2-) transformer architecture with a mask-aware learning strategy. Firstly, we simultaneously leverage spatial and spectral attention modelings to disentangle the blended information in the 2D measurement along both two dimensions. A series of Transformer structures across spatial & spectral clues are systematically designed, which considers the information inter-dependency between the two-fold cues. Secondly, the masked pixels will induce higher prediction difficulty and should be treated differently from unmasked ones. Thereby, we adaptively prioritize the loss penalty attributing to the mask structure by inferring the difficulty-level upon the mask-aware prediction. Our proposed method not only sets a new state-of-the-art quantitatively, but also yields a better perceptual quality upon structured areas.
• Abstract（参考訳）: ハイパースペクトルイメージング(HSI)技術は、長距離分散スペクトル波長の視覚情報を記録する。 代表的ハイパースペクトル画像取得手順は、符号化された開口スナップショット分光撮像器(CASSI)による3Dから2Dの符号化を行い、3D信号再構成のためのソフトウェアデコーダを必要とする。 この符号化手順に基づき、高忠実度再構築の道に2つの大きな課題がある。 (i)2次元計測を行うため、cassiは分散性により複数のチャネルを配置し、同じ空間領域に絞り込み、絡み合ったデータ損失を生じさせる。 (ii)物理符号化開口(mask)は、画素単位の光露光を選択的にブロックすることにより、マスクされたデータ損失につながる。 これらの課題に対処するために,マスク対応学習戦略を用いた空間スペクトル(S2-)トランスフォーマーアーキテクチャを提案する。 まず,空間的およびスペクトル的注意モデリングを併用し,両次元に沿った2次元計測におけるブレンド情報を分離する。 空間的およびスペクトル的手がかりにまたがる一連のトランスフォーマー構造を体系的に設計し、2重のキュー間の情報相互依存性を考察する。 第二に、マスクされたピクセルは予測の困難を増し、未加工のピクセルと異なる扱いをすべきである。 そこで,マスク認識予測の難易度を推定することにより,マスク構造に起因する損失ペナルティを適応的に優先順位付けする。 提案手法は,新しい最先端を定量的に設定するだけでなく,構造領域の知覚品質も向上する。

関連論文リスト

• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• Flow-Attention-based Spatio-Temporal Aggregation Network for 3D Mask Detection [12.160085404239446]
  本稿では,FASTENと呼ばれる新しい3次元マスク検出フレームワークを提案する。 ネットワークが大きな動きの細部に集中するように調整することで、余分な時間的特徴干渉を排除できる。 FASTENは5フレームの入力しか必要とせず、データ内評価とクロスデータセット評価の両方で8つの競合より優れている。
  論文  参考訳（メタデータ） (2023-10-25T11:54:21Z)
• Aperture Diffraction for Compact Snapshot Spectral Imaging [27.321750056840706]
  我々は、Aperture Diffraction Imaging Spectrometer (ADIS) という、コンパクトで費用効率の良いスナップショット分光画像システムを紹介した。 モザイクフィルタセンサ上の離散符号化位置にオブジェクト空間の各点を多重化する新しい光学設計を導入する。 回折変性を強く知覚するカスケードシフトシャッフルスペクトル変換器(CSST)は、空間制約の逆問題を解決するために設計されている。
  論文  参考訳（メタデータ） (2023-09-27T16:48:46Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• D$^\text{2}$UF: Deep Coded Aperture Design and Unrolling Algorithm for Compressive Spectral Image Fusion [22.0246327137227]
  本稿では,低空間分解能符号化開口スペクトル撮像器 (CASSI) アーキテクチャと高空間分解能マルチスペクトルカラーフィルタアレイ (MCFA) システムの圧縮測定の融合について述べる。 本稿では,従来のCSIFと異なり,エンド・ツー・エンド(E2E)方式でセンサアーキテクチャと再構成ネットワークを協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-05-24T15:39:34Z)
• Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging [142.11622043078867]
  圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
  論文  参考訳（メタデータ） (2022-05-20T11:37:44Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。