論文の概要: DMDC: Dynamic-mask-based dual camera design for snapshot Hyperspectral Imaging

• arxiv url: http://arxiv.org/abs/2308.01541v1
• Date: Thu, 3 Aug 2023 05:10:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 15:16:32.501437
• Title: DMDC: Dynamic-mask-based dual camera design for snapshot Hyperspectral Imaging
• Title（参考訳）: DMDC:スナップショットハイパースペクトルイメージングのための動的マスク型デュアルカメラ設計
• Authors: Zeyu Cai, Chengqian Jin, Feipeng Da
• Abstract要約: 本稿では,RGBカメラとCASSIシステムを組み合わせた動的マスク方式のデュアルカメラシステムを提案する。 まず、RGB画像に基づいてシーンの空間的特徴分布を学習し、SLMに各シーンをエンコードするよう指示し、最後にRGB画像とCASSI画像の両方をネットワークに送信して再構成を行う。 さらに,2つのネットワークからなるDMDC-net,マスクの動的調整のための小型CNNベースの動的マスクネットワーク,RGBおよびCASSI測定を用いた再構成のためのマルチモーダル再構成ネットワークを設計した。
• 参考スコア（独自算出の注目度）: 3.3946853660795884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning methods are developing rapidly in coded aperture snapshot spectral imaging (CASSI). The number of parameters and FLOPs of existing state-of-the-art methods (SOTA) continues to increase, but the reconstruction accuracy improves slowly. Current methods still face two problems: 1) The performance of the spatial light modulator (SLM) is not fully developed due to the limitation of fixed Mask coding. 2) The single input limits the network performance. In this paper we present a dynamic-mask-based dual camera system, which consists of an RGB camera and a CASSI system running in parallel. First, the system learns the spatial feature distribution of the scene based on the RGB images, then instructs the SLM to encode each scene, and finally sends both RGB and CASSI images to the network for reconstruction. We further designed the DMDC-net, which consists of two separate networks, a small-scale CNN-based dynamic mask network for dynamic adjustment of the mask and a multimodal reconstruction network for reconstruction using RGB and CASSI measurements. Extensive experiments on multiple datasets show that our method achieves more than 9 dB improvement in PSNR over the SOTA. (https://github.com/caizeyu1992/DMDC)
• Abstract（参考訳）: 深層学習法はCASSI(Coded Aperture Spectrum Imaging)において急速に発展している。 既存の最先端手法(SOTA)のパラメータやFLOPの数は増え続けているが、再構築精度は徐々に向上している。 現在の方法はまだ2つの問題に直面している。 1)空間光変調器(slm)の性能は固定マスク符号化の限界のため十分には開発されていない。 2)単一入力はネットワーク性能を制限する。 本稿では,rgbカメラとcassiシステムを並列に動作させるダイナミックマスク方式デュアルカメラシステムを提案する。 まず、RGB画像に基づいてシーンの空間的特徴分布を学習し、SLMに各シーンをエンコードするよう指示し、最後にRGB画像とCASSI画像の両方をネットワークに送信して再構成を行う。 さらに,2つのネットワークからなるDMDC-net,マスクの動的調整のための小型CNNベースの動的マスクネットワーク,RGBおよびCASSI測定を用いた再構成のためのマルチモーダル再構成ネットワークを設計した。 複数のデータセットに対する大規模な実験により,SOTAによるPSNRの9dB改善が達成された。 (https://github.com/caizeyu1992/dmdc)

関連論文リスト

• SelfDRSC++: Self-Supervised Learning for Dual Reversed Rolling Shutter Correction [72.05587640928879]
  二重反転RS歪み補正(SelfDRSC++)のための自己教師付き学習フレームワークを提案する。 双方向相関マッチングブロックを組み込んだ軽量DRSCネットワークを導入し,光学流の結合最適化とRS特性の補正を行う。 DRSCネットワークを効果的に訓練するために、入力と再構成された二重逆RS画像間のサイクル整合性を保証する自己教師付き学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-21T08:17:22Z)
• The Devil is in the Details: Boosting Guided Depth Super-Resolution via Rethinking Cross-Modal Alignment and Aggregation [41.12790340577986]
  誘導深度超解像(GDSR)は、同じシーンの高解像度のRGB画像を用いて、行方不明の深度の詳細を復元する。 それまでのアプローチでは、マルチモーダル入力の不均一性と相補性に苦慮し、モーダルなミスアライメント、幾何学的なミスアライメント、特徴選択といった問題を無視してきた。
  論文  参考訳（メタデータ） (2024-01-16T05:37:08Z)
• A Model-data-driven Network Embedding Multidimensional Features for Tomographic SAR Imaging [5.489791364472879]
  多次元特徴量に基づくトモSARイメージングを実現するためのモデルデータ駆動型ネットワークを提案する。 画像シーンの多次元的特徴を効果的に向上するために、2つの2次元処理モジュール(畳み込みエンコーダ-デコーダ構造)を追加します。 従来のCS-based FISTA法とDL-based gamma-Net法と比較して,提案手法は良好な画像精度を有しつつ,完全性を向上させる。
  論文  参考訳（メタデータ） (2022-11-28T02:01:43Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Self-Gated Memory Recurrent Network for Efficient Scalable HDR Deghosting [59.04604001936661]
  本稿では,任意の長さの動的シーケンスを浮き彫りにする新しいネットワーク型HDRデゴースト法を提案する。 本稿では,SGM(Self-Gated Memory)セルという新たなリカレントセルアーキテクチャを導入する。 提案手法は,既存の3つの公開データセットを定量的に比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-24T12:36:33Z)
• Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent Neural Network [14.796204921975733]
  デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。 既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。 本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-11T14:24:44Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• MetaSCI: Scalable and Adaptive Reconstruction for Video Compressive Sensing [21.243762976995544]
  ビデオスナップショット圧縮イメージング(SCI)は、ビデオフレームが異なるマスクによってコーディングされ、スナップショット測定に圧縮される有望なシステムです。 MetaSCIと呼ばれるSCI再構築のためのMeta Modulated Convolutional Networkを開発しています。
  論文  参考訳（メタデータ） (2021-03-02T14:53:00Z)
• Self-Supervised Representation Learning for RGB-D Salient Object Detection [93.17479956795862]
  我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。 我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。 RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-01-29T09:16:06Z)
• Real Image Super Resolution Via Heterogeneous Model Ensemble using GP-NAS [63.48801313087118]
  本稿では,高密度スキップ接続を有するディープ残差ネットワークを用いた画像超解像法を提案する。 提案手法は、AIM 2020 Real Image Super-Resolution Challengeの3トラックで1位を獲得した。
  論文  参考訳（メタデータ） (2020-09-02T22:33:23Z)
• AdaptiveWeighted Attention Network with Camera Spectral Sensitivity Prior for Spectral Reconstruction from RGB Images [22.26917280683572]
  スペクトル再構成のための適応重み付き注意ネットワーク(AWAN)を提案する。 AWCAおよびPSNLモジュールは、チャネルワイドな特徴応答を再配置するために開発された。 NTIRE 2020 Spectral Reconstruction Challengeでは、クリーントラックで1位、リアルワールドで3位を獲得しました。
  論文  参考訳（メタデータ） (2020-05-19T09:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。