論文の概要: MLP-AMDC: An MLP Architecture for Adaptive-Mask-based Dual-Camera
snapshot hyperspectral imaging
- arxiv url: http://arxiv.org/abs/2310.08002v1
- Date: Thu, 12 Oct 2023 03:14:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-15 11:19:25.634468
- Title: MLP-AMDC: An MLP Architecture for Adaptive-Mask-based Dual-Camera
snapshot hyperspectral imaging
- Title(参考訳): MLP-AMDC: 適応マスクに基づくデュアルカメラスナップショットハイパースペクトルイメージングのためのMLPアーキテクチャ
- Authors: Zeyu Cai, Can Zhang, Xunhao Chen, Shanghuan Liu, Chengqian Jin,
Feipeng Da
- Abstract要約: Coded Aperture Snaptral Imaging (CASSI) システムは、Hyper-Spectral Image (HSI) を動的に取得する従来の手法よりも優れている。
既存の高品質な再構築アルゴリズムは、再構築が遅いため、オフラインでしか情報を再構築できない。
本稿では,アダプティブマスクをベースとしたRCGカメラをマルチモーダル入力として導入し,再現性の向上を図る。
- 参考スコア(独自算出の注目度): 4.585777615418225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coded Aperture Snapshot Spectral Imaging (CASSI) system has great advantages
over traditional methods in dynamically acquiring Hyper-Spectral Image (HSI),
but there are the following problems. 1) Traditional mask relies on random
patterns or analytical design, both of which limit the performance improvement
of CASSI. 2) Existing high-quality reconstruction algorithms are slow in
reconstruction and can only reconstruct scene information offline. To address
the above two problems, this paper designs the AMDC-CASSI system, introducing
RGB camera with CASSI based on Adaptive-Mask as multimodal input to improve the
reconstruction quality. The existing SOTA reconstruction schemes are based on
transformer, but the operation of self-attention pulls down the operation
efficiency of the network. In order to improve the inference speed of the
reconstruction network, this paper proposes An MLP Architecture for
Adaptive-Mask-based Dual-Camera (MLP-AMDC) to replace the transformer structure
of the network. Numerous experiments have shown that MLP performs no less well
than transformer-based structures for HSI reconstruction, while MLP greatly
improves the network inference speed and has less number of parameters and
operations, our method has a 8 db improvement over SOTA and at least a 5-fold
improvement in reconstruction speed. (https://github.com/caizeyu1992/MLP-AMDC.)
- Abstract(参考訳): Coded Aperture Snaptral Imaging (CASSI) システムは、Hyper-Spectral Image (HSI) を動的に取得する従来の手法よりも優れているが、次のような問題がある。
1) 従来のマスクはランダムパターンや解析設計に依存しており, どちらもCASSIの性能改善を制限している。
2) 既存の高品質な復元アルゴリズムは、復元が遅いため、シーン情報のオフライン化しかできない。
以上の2つの問題に対処するため,アダプティブマスクをベースとしたRGBカメラをマルチモーダル入力として導入し,再現性を向上させることを目的としたAMDC-CASSIシステムの設計を行った。
既存のSOTA再構成方式は変圧器をベースとしているが,自己注意操作はネットワークの動作効率を低下させる。
本稿では,再構成ネットワークの推論速度を改善するために,MLP-AMDC (Adaptive-Mask-based Dual-Camera) のためのMLPアーキテクチャを提案する。
多くの実験により、mlpはhsi再構成のためのトランスベース構造よりも性能が良いことが示されているが、mlpはネットワーク推論の速度が大幅に向上し、パラメータや演算も少ないが、sataよりも8db改善され、少なくとも5倍の再構成速度が向上している。
(1992/MLP-AMDC)
関連論文リスト
- DMDC: Dynamic-mask-based dual camera design for snapshot Hyperspectral
Imaging [3.3946853660795884]
本稿では,RGBカメラとCASSIシステムを組み合わせた動的マスク方式のデュアルカメラシステムを提案する。
まず、RGB画像に基づいてシーンの空間的特徴分布を学習し、SLMに各シーンをエンコードするよう指示し、最後にRGB画像とCASSI画像の両方をネットワークに送信して再構成を行う。
さらに,2つのネットワークからなるDMDC-net,マスクの動的調整のための小型CNNベースの動的マスクネットワーク,RGBおよびCASSI測定を用いた再構成のためのマルチモーダル再構成ネットワークを設計した。
論文 参考訳(メタデータ) (2023-08-03T05:10:58Z) - Image Reconstruction using Enhanced Vision Transformer [0.08594140167290097]
画像のデノイング,デブロアリング,インペイントといったタスクに使用できる新しい画像再構成フレームワークを提案する。
このプロジェクトで提案されるモデルは、2次元画像を入力として取り込んで埋め込みを出力するビジョントランスフォーマー(ViT)に基づいている。
モデル再構築機能を改善するために,フレームワークに4つの最適化手法を組み込んだ。
論文 参考訳(メタデータ) (2023-07-11T02:14:18Z) - Unfolding Framework with Prior of Convolution-Transformer Mixture and
Uncertainty Estimation for Video Snapshot Compressive Imaging [7.601695814245209]
本稿では, 連続する高速フレームを異なるマスクで変調し, 単一の計測でキャプチャする, ビデオスナップショット圧縮画像(SCI)の問題点について考察する。
最適化アルゴリズムとニューラルネットワークを組み合わせることで、ディープ・アンフォールディング・ネットワーク(DUN)は、逆問題の解決において大きな成果を上げた。
論文 参考訳(メタデータ) (2023-06-20T06:25:48Z) - A Simple Adaptive Unfolding Network for Hyperspectral Image
Reconstruction [33.53825801739728]
ネットワーク設計をシンプルにするために,シンプルで効率的でスケーラブルな展開ネットワークSAUNetを提案する。
SAUNetは、継続的改善を伴う非自明な13ステージにスケールすることができる。
我々はCAVEとKAIST HSI再構成ベンチマークに新しい記録を設定した。
論文 参考訳(メタデータ) (2023-01-24T18:28:21Z) - Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。
降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。
提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
論文 参考訳(メタデータ) (2022-07-21T12:50:54Z) - Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral
Compressive Imaging [142.11622043078867]
圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。
HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
論文 参考訳(メタデータ) (2022-05-20T11:37:44Z) - Transformer-empowered Multi-scale Contextual Matching and Aggregation
for Multi-contrast MRI Super-resolution [55.52779466954026]
マルチコントラスト・スーパーレゾリューション (SR) 再構成により, SR画像の高画質化が期待できる。
既存の手法では、これらの特徴をマッチングし、融合させる効果的なメカニズムが欠如している。
そこで本稿では,トランスフォーマーを利用したマルチスケールコンテキストマッチングとアグリゲーション技術を開発することで,これらの問題を解決する新しいネットワークを提案する。
論文 参考訳(メタデータ) (2022-03-26T01:42:59Z) - HUMUS-Net: Hybrid unrolled multi-scale network architecture for
accelerated MRI reconstruction [38.0542877099235]
HUMUS-Netは、暗黙のバイアスと畳み込みの効率を、無ロールでマルチスケールのネットワークにおけるTransformerブロックのパワーと組み合わせたハイブリッドアーキテクチャである。
我々のネットワークは、最も広く公開されているMRIデータセットである高速MRIデータセット上で、新しい最先端技術を確立する。
論文 参考訳(メタデータ) (2022-03-15T19:26:29Z) - RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for
Image Recognition [123.59890802196797]
画像認識のための多層パーセプトロン型ニューラルネットワーク構築ブロックであるRepMLPを提案する。
トレーニング中にRepMLP内に畳み込み層を構築し,それをFCにマージして推論を行う。
従来のCNNにRepMLPを挿入することで、ImageNetでは1.8%の精度、顔認識では2.9%、FLOPの低いCityscapeでは2.3%のmIoUを改善します。
論文 参考訳(メタデータ) (2021-05-05T06:17:40Z) - Adaptive Gradient Balancing for UndersampledMRI Reconstruction and
Image-to-Image Translation [60.663499381212425]
本研究では,新しい適応勾配バランス手法を併用したwasserstein生成逆ネットワークを用いて,画質の向上を図る。
MRIでは、他の技術よりも鮮明な画像を生成する高品質の再構築を維持しながら、アーティファクトを最小限に抑えます。
論文 参考訳(メタデータ) (2021-04-05T13:05:22Z) - Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。
本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。
反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文 参考訳(メタデータ) (2020-05-20T11:11:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。