論文の概要: A New Backbone for Hyperspectral Image Reconstruction
- arxiv url: http://arxiv.org/abs/2108.07739v1
- Date: Tue, 17 Aug 2021 16:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-18 13:09:36.568026
- Title: A New Backbone for Hyperspectral Image Reconstruction
- Title（参考訳）: ハイパースペクトル画像再構成のための新しいバックボーン
- Authors: Jiamian Wang, Yulun Zhang, Xin Yuan, Yun Fu, Zhiqiang Tao
- Abstract要約: 3次元ハイパースペクトル画像(HSI)再構成は、スナップショット圧縮画像の逆過程を指す。
空間/スペクトル不変Residual U-Net、すなわちSSI-ResU-Netを提案する。
SSI-ResU-Net は浮動小数点演算の 77.3% 以上で競合する性能を実現する。
- 参考スコア（独自算出の注目度）: 90.48427561874402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The study of 3D hyperspectral image (HSI) reconstruction refers to the
inverse process of snapshot compressive imaging, during which the optical
system, e.g., the coded aperture snapshot spectral imaging (CASSI) system,
captures the 3D spatial-spectral signal and encodes it to a 2D measurement.
While numerous sophisticated neural networks have been elaborated for
end-to-end reconstruction, trade-offs still need to be made among performance,
efficiency (training and inference time), and feasibility (the ability of
restoring high resolution HSI on limited GPU memory). This raises a challenge
to design a new baseline to conjointly meet the above requirements. In this
paper, we fill in this blank by proposing a Spatial/Spectral Invariant Residual
U-Net, namely SSI-ResU-Net. It differentiates with U-Net in three folds--1)
scale/spectral-invariant learning, 2) nested residual learning, and 3)
computational efficiency. Benefiting from these three modules, the proposed
SSI-ResU-Net outperforms the current state-of-the-art method TSA-Net by over 3
dB in PSNR and 0.036 in SSIM while only using 2.82% trainable parameters. To
the greatest extent, SSI-ResU-Net achieves competing performance with over
77.3% reduction in terms of floating-point operations (FLOPs), which for the
first time, makes high-resolution HSI reconstruction feasible under practical
application scenarios. Code and pre-trained models are made available at
https://github.com/Jiamian-Wang/HSI_baseline.
- Abstract（参考訳）: 3Dハイパースペクトル画像(HSI)再構成の研究は、光学系(例えば、符号化開口スナップショット分光画像(CASSI))が3D空間スペクトル信号を捕捉し、2D計測に符号化する、スナップショット圧縮画像の逆過程を指す。
エンドツーエンドの再構築のために多くの高度なニューラルネットワークが精巧化されているが、パフォーマンス、効率(トレーニングと推論時間)、実現可能性(限られたgpuメモリで高解像度hsiを復元する能力)のトレードオフはいまだに必要である。
これにより、上記の要件を満たす新しいベースラインの設計が困難になる。
本稿では,空間/スペクトル不変Residual U-Net,すなわちSSI-ResU-Netを提案することで,この空白を埋める。
U-Netを3つの折り畳み(-1)スケール/スペクトル不変学習、2)ネスト残差学習、3)計算効率で区別する。
提案されたSSI-ResU-Netは、PSNRでは3dB以上、SSIMでは0.036以上であり、トレーニング可能なパラメータは2.82%しか使用していない。
ssi-resu-net は浮動小数点演算 (flops) の観点から77.3%以上削減し, 実用的な応用シナリオで高速hsi再構成を実現する。
コードと事前トレーニングされたモデルはhttps://github.com/jiamian-wang/hsi_baselineで利用可能である。
関連論文リスト
- Swap-Net: A Memory-Efficient 2.5D Network for Sparse-View 3D Cone Beam CT Reconstruction [13.891441371598546]
プロジェクションの限られたセットから3次元コーンビーム計算トモグラフィ(CBCT)画像の再構成は、多くの画像応用において逆問題である。
本稿では,スパースビュー3次元CBCT画像再構成のためのメモリ効率2.5DネットワークであるSwap-Netを提案する。
論文 参考訳（メタデータ） (2024-09-29T08:36:34Z) - Coarse-Fine Spectral-Aware Deformable Convolution For Hyperspectral Image Reconstruction [15.537910100051866]
Coded Aperture Snapshot Spectral Imaging (CASSI) の逆問題について検討する。
粗面スペクトル対応変形性畳み込みネットワーク(CFSDCN)を提案する。
我々のCFSDCNは、シミュレーションされたHSIデータセットと実際のHSIデータセットの両方において、従来の最先端(SOTA)メソッドよりも大幅に優れています。
論文 参考訳（メタデータ） (2024-06-18T15:15:12Z) - Binarized Spectral Compressive Imaging [59.18636040850608]
ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。
本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。
BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
論文 参考訳（メタデータ） (2023-05-17T15:36:08Z) - GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。
これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。
我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文 参考訳（メタデータ） (2022-07-18T06:01:29Z) - HDNet: High-resolution Dual-domain Learning for Spectral Compressive
Imaging [138.04956118993934]
HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。
一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。
一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
論文 参考訳（メタデータ） (2022-03-04T06:37:45Z) - Deep Amended Gradient Descent for Efficient Spectral Reconstruction from
Single RGB Images [42.26124628784883]
本稿では、AGD-Netという、コンパクトで効率的でエンドツーエンドの学習ベースのフレームワークを提案する。
まず、古典的勾配降下アルゴリズムに基づいて問題を明示的に定式化する。
AGD-Netは、平均1.0dB以上のリコンストラクション品質を向上させることができる。
論文 参考訳（メタデータ） (2021-08-12T05:54:09Z) - Fast Hyperspectral Image Recovery via Non-iterative Fusion of
Dual-Camera Compressive Hyperspectral Imaging [22.683482662362337]
符号化開口分光画像(CASSI)は3次元ハイパースペクトル像(HSI)を撮像するための有望な技術である
様々な正規化器を用いて2次元計測から3次元データを再構成している。
実現可能な解決策の1つは、CASSIのRGB測定などの追加情報を活用することです。
論文 参考訳（メタデータ） (2020-12-30T10:29:32Z) - Accurate and Lightweight Image Super-Resolution with Model-Guided Deep
Unfolding Network [63.69237156340457]
我々は、モデル誘導深部展開ネットワーク(MoG-DUN)と呼ばれるSISRに対する説明可能なアプローチを提示し、提唱する。
MoG-DUNは正確(エイリアスを少なくする)、計算効率(モデルパラメータを減らした)、多用途(多重劣化を処理できる)である。
RCAN, SRDNF, SRFBNを含む既存の最先端画像手法に対するMoG-DUN手法の優位性は、いくつかの一般的なデータセットと様々な劣化シナリオに関する広範な実験によって実証されている。
論文 参考訳（メタデータ） (2020-09-14T08:23:37Z) - Spatial-Spectral Residual Network for Hyperspectral Image
Super-Resolution [82.1739023587565]
ハイパースペクトル画像超解像のための新しいスペクトル空間残差ネットワーク(SSRNet)を提案する。
提案手法は,2次元畳み込みではなく3次元畳み込みを用いて空間スペクトル情報の探索を効果的に行うことができる。
各ユニットでは空間的・時間的分離可能な3次元畳み込みを用いて空間的・スペクトル的な情報を抽出する。
論文 参考訳（メタデータ） (2020-01-14T03:34:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。