論文の概要: MSFA-Frequency-Aware Transformer for Hyperspectral Images Demosaicing
- arxiv url: http://arxiv.org/abs/2303.13404v1
- Date: Thu, 23 Mar 2023 16:27:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 13:32:06.555513
- Title: MSFA-Frequency-Aware Transformer for Hyperspectral Images Demosaicing
- Title（参考訳）: ハイパースペクトル画像復調用MSFA周波数対応変圧器
- Authors: Haijin Zeng, Kai Feng, Shaoguang Huang, Jiezhang Cao, Yongyong Chen,
Hongyan Zhang, Hiep Luong, Wilfried Philips
- Abstract要約: 本稿では,MSFA対応変圧器ネットワーク(FDM-Net)を新たに提案する。
Maformerの利点は、データに存在するMSFA情報と非ローカル依存関係を活用することができることである。
実験の結果、FDM-Netは6dB PSNRで最先端の手法より優れており、高忠実度の詳細を再構築することに成功した。
- 参考スコア（独自算出の注目度）: 15.847332787718852
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperspectral imaging systems that use multispectral filter arrays (MSFA)
capture only one spectral component in each pixel. Hyperspectral demosaicing is
used to recover the non-measured components. While deep learning methods have
shown promise in this area, they still suffer from several challenges,
including limited modeling of non-local dependencies, lack of consideration of
the periodic MSFA pattern that could be linked to periodic artifacts, and
difficulty in recovering high-frequency details. To address these challenges,
this paper proposes a novel de-mosaicing framework, the MSFA-frequency-aware
Transformer network (FDM-Net). FDM-Net integrates a novel MSFA-frequency-aware
multi-head self-attention mechanism (MaFormer) and a filter-based Fourier
zero-padding method to reconstruct high pass components with greater difficulty
and low pass components with relative ease, separately. The advantage of
Maformer is that it can leverage the MSFA information and non-local
dependencies present in the data. Additionally, we introduce a joint spatial
and frequency loss to transfer MSFA information and enhance training on
frequency components that are hard to recover. Our experimental results
demonstrate that FDM-Net outperforms state-of-the-art methods with 6dB PSNR,
and reconstructs high-fidelity details successfully.
- Abstract（参考訳）: マルチスペクトルフィルタアレイ(msfa)を使用するハイパースペクトルイメージングシステムは、各画素のスペクトル成分を1つだけキャプチャする。
ハイパースペクトル復調は測定されていない成分の回収に使用される。
深層学習手法はこの分野で有望であることを示す一方で、非局所的な依存関係のモデリングの制限、周期的なアーティファクトと結びつく可能性のある周期的なMSFAパターンの考慮の欠如、高周波の詳細の回復の困難など、いくつかの課題に悩まされている。
これらの課題に対処するため,MSFA対応トランスフォーマネットワーク (FDM-Net) を新たに提案する。
FDM-Netは、新しいMSFA対応マルチヘッド自己アテンション機構(MaFormer)とフィルタベースのフーリエゼロパディング法を統合し、高い通過成分をより困難かつ比較的容易に再構成する。
Maformerの利点は、データに存在するMSFA情報と非ローカル依存関係を活用することができることである。
さらに,MSFA情報の転送や回復困難な周波数成分のトレーニングの強化のために,共同空間と周波数損失を導入する。
実験の結果、FDM-Netは6dB PSNRで最先端の手法より優れており、高忠実度の詳細を再構築することに成功した。
関連論文リスト
- Exploring Richer and More Accurate Information via Frequency Selection for Image Restoration [0.0]
空間および周波数領域の知識をシームレスに統合するマルチスケール周波数選択ネットワーク(MSFSNet)を導入する。
我々のMSFSNetは最先端のアルゴリズムに匹敵する性能を達成する。
論文 参考訳（メタデータ） (2024-07-12T03:10:08Z) - MFDNet: Multi-Frequency Deflare Network for Efficient Nighttime Flare Removal [39.70102431268123]
ラプラシアンピラミッドに基づくMFDNet(MFDNet)を提案する。
我々のネットワークは、フレア崩壊した画像を低周波帯と高周波帯に分解し、画像内の照明と内容情報を効果的に分離する。
実験により,本手法は実空間および合成画像の夜間フレア除去において,最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-06-26T05:31:36Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - Joint Attention-Guided Feature Fusion Network for Saliency Detection of
Surface Defects [69.39099029406248]
本稿では,エンコーダ・デコーダネットワークに基づく表面欠陥検出のための共同注意誘導型特徴融合ネットワーク(JAFFNet)を提案する。
JAFFNetは、主にJAFFモジュールをデコードステージに組み込んで、低レベルと高レベルの機能を適応的に融合させる。
SD- Saliency-900, Magnetic tile, and DAGM 2007 で行った実験から,本手法が他の最先端手法と比較して有望な性能を達成できたことが示唆された。
論文 参考訳（メタデータ） (2024-02-05T08:10:16Z) - Frequency-Adaptive Pan-Sharpening with Mixture of Experts [22.28680499480492]
パンシャーピングのための新しい周波数適応型エキスパート混合学習フレームワーク(FAME)を提案する。
本手法は他の最先端技術に対して最善を尽くし,現実のシーンに対して強力な一般化能力を有する。
論文 参考訳（メタデータ） (2024-01-04T08:58:25Z) - Frequency Domain Modality-invariant Feature Learning for
Visible-infrared Person Re-Identification [79.9402521412239]
本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。
我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
論文 参考訳（メタデータ） (2024-01-03T17:11:27Z) - Multi-scale frequency separation network for image deblurring [10.511076996096117]
本稿では,マルチスケール周波数分離ネットワーク (MSFS-Net) を用いた画像分解手法を提案する。
MSFS-Netは複数のスケールで画像の低周波・高周波情報をキャプチャする。
ベンチマークデータセットの実験により,提案したネットワークが最先端の性能を達成することが示された。
論文 参考訳（メタデータ） (2022-06-01T23:48:35Z) - Deep Frequency Filtering for Domain Generalization [55.66498461438285]
Deep Neural Networks(DNN)は、学習プロセスにおいて、いくつかの周波数成分を優先する。
本稿では、ドメイン一般化可能な特徴を学習するためのDeep Frequency Filtering (DFF)を提案する。
提案したDFFをベースラインに適用すると,ドメインの一般化タスクにおける最先端の手法よりも優れることを示す。
論文 参考訳（メタデータ） (2022-03-23T05:19:06Z) - Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。
HSI再構成のための深層学習にHSI空間を埋め込んだCST
特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
論文 参考訳（メタデータ） (2022-03-09T16:17:47Z) - Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image
Reconstruction [127.20208645280438]
ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。
スペクトル間相互作用のモデル化は、HSI再構成に有用である。
Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-15T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。