論文の概要: MLP-AMDC: An MLP Architecture for Adaptive-Mask-based Dual-Camera snapshot hyperspectral imaging

• arxiv url: http://arxiv.org/abs/2310.08002v1
• Date: Thu, 12 Oct 2023 03:14:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-15 11:19:25.634468
• Title: MLP-AMDC: An MLP Architecture for Adaptive-Mask-based Dual-Camera snapshot hyperspectral imaging
• Title（参考訳）: MLP-AMDC: 適応マスクに基づくデュアルカメラスナップショットハイパースペクトルイメージングのためのMLPアーキテクチャ
• Authors: Zeyu Cai, Can Zhang, Xunhao Chen, Shanghuan Liu, Chengqian Jin, Feipeng Da
• Abstract要約: Coded Aperture Snaptral Imaging (CASSI) システムは、Hyper-Spectral Image (HSI) を動的に取得する従来の手法よりも優れている。 既存の高品質な再構築アルゴリズムは、再構築が遅いため、オフラインでしか情報を再構築できない。 本稿では,アダプティブマスクをベースとしたRCGカメラをマルチモーダル入力として導入し,再現性の向上を図る。
• 参考スコア（独自算出の注目度）: 4.585777615418225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coded Aperture Snapshot Spectral Imaging (CASSI) system has great advantages over traditional methods in dynamically acquiring Hyper-Spectral Image (HSI), but there are the following problems. 1) Traditional mask relies on random patterns or analytical design, both of which limit the performance improvement of CASSI. 2) Existing high-quality reconstruction algorithms are slow in reconstruction and can only reconstruct scene information offline. To address the above two problems, this paper designs the AMDC-CASSI system, introducing RGB camera with CASSI based on Adaptive-Mask as multimodal input to improve the reconstruction quality. The existing SOTA reconstruction schemes are based on transformer, but the operation of self-attention pulls down the operation efficiency of the network. In order to improve the inference speed of the reconstruction network, this paper proposes An MLP Architecture for Adaptive-Mask-based Dual-Camera (MLP-AMDC) to replace the transformer structure of the network. Numerous experiments have shown that MLP performs no less well than transformer-based structures for HSI reconstruction, while MLP greatly improves the network inference speed and has less number of parameters and operations, our method has a 8 db improvement over SOTA and at least a 5-fold improvement in reconstruction speed. (https://github.com/caizeyu1992/MLP-AMDC.)
• Abstract（参考訳）: Coded Aperture Snaptral Imaging (CASSI) システムは、Hyper-Spectral Image (HSI) を動的に取得する従来の手法よりも優れているが、次のような問題がある。 1) 従来のマスクはランダムパターンや解析設計に依存しており, どちらもCASSIの性能改善を制限している。 2) 既存の高品質な復元アルゴリズムは、復元が遅いため、シーン情報のオフライン化しかできない。 以上の2つの問題に対処するため,アダプティブマスクをベースとしたRGBカメラをマルチモーダル入力として導入し,再現性を向上させることを目的としたAMDC-CASSIシステムの設計を行った。 既存のSOTA再構成方式は変圧器をベースとしているが,自己注意操作はネットワークの動作効率を低下させる。 本稿では,再構成ネットワークの推論速度を改善するために,MLP-AMDC (Adaptive-Mask-based Dual-Camera) のためのMLPアーキテクチャを提案する。 多くの実験により、mlpはhsi再構成のためのトランスベース構造よりも性能が良いことが示されているが、mlpはネットワーク推論の速度が大幅に向上し、パラメータや演算も少ないが、sataよりも8db改善され、少なくとも5倍の再構成速度が向上している。 (1992/MLP-AMDC)

関連論文リスト

• GLMHA A Guided Low-rank Multi-Head Self-Attention for Efficient Image Restoration and Spectral Reconstruction [36.23508672036131]
  本稿では,チャネルワイド・セルフアテンションを置き換えるために,インスタンス誘導型低ランクマルチヘッド・セルフアテンションを提案する。 提案したGLMHAに共通するのは、短い入力シーケンスと長い入力シーケンスの両方に対して計算利得を提供する能力である。 その結果,7.7ギガFLOPsの削減が達成され,最高の性能モデルの性能を維持するために必要なパラメータが370K削減された。
  論文  参考訳（メタデータ） (2024-10-01T04:07:48Z)
• A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
  安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。 本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-31T21:47:05Z)
• DMDC: Dynamic-mask-based dual camera design for snapshot Hyperspectral Imaging [3.3946853660795884]
  本稿では,RGBカメラとCASSIシステムを組み合わせた動的マスク方式のデュアルカメラシステムを提案する。 まず、RGB画像に基づいてシーンの空間的特徴分布を学習し、SLMに各シーンをエンコードするよう指示し、最後にRGB画像とCASSI画像の両方をネットワークに送信して再構成を行う。 さらに,2つのネットワークからなるDMDC-net,マスクの動的調整のための小型CNNベースの動的マスクネットワーク,RGBおよびCASSI測定を用いた再構成のためのマルチモーダル再構成ネットワークを設計した。
  論文  参考訳（メタデータ） (2023-08-03T05:10:58Z)
• Image Reconstruction using Enhanced Vision Transformer [0.08594140167290097]
  画像のデノイング,デブロアリング,インペイントといったタスクに使用できる新しい画像再構成フレームワークを提案する。 このプロジェクトで提案されるモデルは、2次元画像を入力として取り込んで埋め込みを出力するビジョントランスフォーマー(ViT)に基づいている。 モデル再構築機能を改善するために,フレームワークに4つの最適化手法を組み込んだ。
  論文  参考訳（メタデータ） (2023-07-11T02:14:18Z)
• A Simple Adaptive Unfolding Network for Hyperspectral Image Reconstruction [33.53825801739728]
  ネットワーク設計をシンプルにするために,シンプルで効率的でスケーラブルな展開ネットワークSAUNetを提案する。 SAUNetは、継続的改善を伴う非自明な13ステージにスケールすることができる。 我々はCAVEとKAIST HSI再構成ベンチマークに新しい記録を設定した。
  論文  参考訳（メタデータ） (2023-01-24T18:28:21Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging [142.11622043078867]
  圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
  論文  参考訳（メタデータ） (2022-05-20T11:37:44Z)
• HUMUS-Net: Hybrid unrolled multi-scale network architecture for accelerated MRI reconstruction [38.0542877099235]
  HUMUS-Netは、暗黙のバイアスと畳み込みの効率を、無ロールでマルチスケールのネットワークにおけるTransformerブロックのパワーと組み合わせたハイブリッドアーキテクチャである。 我々のネットワークは、最も広く公開されているMRIデータセットである高速MRIデータセット上で、新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2022-03-15T19:26:29Z)
• RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition [123.59890802196797]
  画像認識のための多層パーセプトロン型ニューラルネットワーク構築ブロックであるRepMLPを提案する。 トレーニング中にRepMLP内に畳み込み層を構築し,それをFCにマージして推論を行う。 従来のCNNにRepMLPを挿入することで、ImageNetでは1.8%の精度、顔認識では2.9%、FLOPの低いCityscapeでは2.3%のmIoUを改善します。
  論文  参考訳（メタデータ） (2021-05-05T06:17:40Z)
• Adaptive Gradient Balancing for UndersampledMRI Reconstruction and Image-to-Image Translation [60.663499381212425]
  本研究では,新しい適応勾配バランス手法を併用したwasserstein生成逆ネットワークを用いて,画質の向上を図る。 MRIでは、他の技術よりも鮮明な画像を生成する高品質の再構築を維持しながら、アーティファクトを最小限に抑えます。
  論文  参考訳（メタデータ） (2021-04-05T13:05:22Z)
• Iterative Network for Image Super-Resolution [69.07361550998318]
  単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。 本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。 反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
  論文  参考訳（メタデータ） (2020-05-20T11:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。