論文の概要: A Dual Domain Multi-exposure Image Fusion Network based on the Spatial-Frequency Integration

• arxiv url: http://arxiv.org/abs/2312.10604v1
• Date: Sun, 17 Dec 2023 04:45:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 15:29:32.750091
• Title: A Dual Domain Multi-exposure Image Fusion Network based on the Spatial-Frequency Integration
• Title（参考訳）: 空間周波数統合に基づく二重領域マルチ露光画像融合ネットワーク
• Authors: Guang Yang, Jie Li, Xinbo Gao
• Abstract要約: マルチ露光画像融合は、異なる露光で画像を統合することにより、単一の高ダイナミック画像を生成することを目的としている。 本稿では,MEF-SFI と呼ばれる空間周波数統合フレームワークによるマルチ露光画像融合の新たな視点を提案する。 提案手法は,最先端のマルチ露光画像融合手法に対する視覚的近似核融合結果を実現する。
• 参考スコア（独自算出の注目度）: 57.14745782076976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-exposure image fusion aims to generate a single high-dynamic image by integrating images with different exposures. Existing deep learning-based multi-exposure image fusion methods primarily focus on spatial domain fusion, neglecting the global modeling ability of the frequency domain. To effectively leverage the global illumination modeling ability of the frequency domain, we propose a novelty perspective on multi-exposure image fusion via the Spatial-Frequency Integration Framework, named MEF-SFI. Initially, we revisit the properties of the Fourier transform on the 2D image, and verify the feasibility of multi-exposure image fusion on the frequency domain where the amplitude and phase component is able to guide the integration of the illumination information. Subsequently, we present the deep Fourier-based multi-exposure image fusion framework, which consists of a spatial path and frequency path for local and global modeling separately. Specifically, we introduce a Spatial-Frequency Fusion Block to facilitate efficient interaction between dual domains and capture complementary information from input images with different exposures. Finally, we combine a dual domain loss function to ensure the retention of complementary information in both the spatial and frequency domains. Extensive experiments on the PQA-MEF dataset demonstrate that our method achieves visual-appealing fusion results against state-of-the-art multi-exposure image fusion approaches. Our code is available at https://github.com/SSyangguang/MEF-freq.
• Abstract（参考訳）: 多重露光画像融合は、異なる露光を持つ画像を統合することによって単一の高ダイナミック画像を生成することを目的としている。 既存の深層学習に基づくマルチ露光画像融合法は主に空間領域融合に焦点を当て、周波数領域のグローバルなモデリング能力を無視している。 周波数領域のグローバル照明モデリング能力を効果的に活用するために,空間周波数統合フレームワーク mef-sfi を用いて,多重露光画像融合に関する新しい視点を提案する。 まず、2次元画像上のフーリエ変換の特性を再検討し、振幅と位相成分が照明情報の統合を導くことができる周波数領域における多重露光画像融合の実現可能性を検証する。 次に,局所的および大域的モデリングのための空間的経路と周波数経路からなる,深部フーリエに基づくマルチエクスポージャー画像融合フレームワークを提案する。 具体的には,デュアルドメイン間の効率的な相互作用を容易にし,異なる露光を持つ入力画像からの補完情報をキャプチャする空間周波数融合ブロックを提案する。 最後に,空間領域と周波数領域の両方において補完的情報の保持を確保するために,二重領域損失関数を組み合わせる。 pqa-mefデータセットに関する広範な実験は、最先端のマルチエクスプロイア画像融合アプローチに対して、視覚的な融合結果を達成することを証明している。 私たちのコードはhttps://github.com/SSyangguang/MEF-freq.comで利用可能です。

関連論文リスト

• SFDFusion: An Efficient Spatial-Frequency Domain Fusion Network for Infrared and Visible Image Fusion [11.46957526079837]
  赤外線と可視画像の融合は、目立ったターゲットと豊かなテクスチャの詳細を持つ融合画像を生成することを目的としている。 本稿では、赤外・可視画像融合のための効率的な空間周波数領域融合ネットワークを提案する。 本手法は,様々な融合計測値と視覚効果に有意な利点を有する融合画像を生成する。
  論文  参考訳（メタデータ） (2024-10-30T09:17:23Z)
• Spatial-frequency Dual-Domain Feature Fusion Network for Low-Light Remote Sensing Image Enhancement [49.15531684596958]
  低照度リモートセンシング画像強調のためのDFFN(Dual-Domain Feature Fusion Network)を提案する。 第1フェーズは振幅情報を学習して画像輝度を復元し、第2フェーズは位相情報を学習して詳細を洗練させる。 我々は、現在の暗光リモートセンシング画像強調におけるデータセットの欠如に対応するために、2つの暗光リモートセンシングデータセットを構築した。
  論文  参考訳（メタデータ） (2024-04-26T13:21:31Z)
• SSDiff: Spatial-spectral Integrated Diffusion Model for Remote Sensing Pansharpening [14.293042131263924]
  本稿では,空間スペクトル統合拡散モデルを導入し,リモートセンシングパンシャーピングタスクであるSSDiffについて述べる。 SSDiffは、パンシャルペン過程を部分空間分解の観点から、空間成分とスペクトル成分の融合過程とみなしている。
  論文  参考訳（メタデータ） (2024-04-17T16:30:56Z)
• Bridging the Gap between Multi-focus and Multi-modal: A Focused Integration Framework for Multi-modal Image Fusion [5.417493475406649]
  MMIF(Multi-Modal Image fusion)は、異なるモダリティ画像からの貴重な情報を融合画像に統合する。 本稿では,協調型統合とモダリティ情報抽出のためのMMIFフレームワークを提案する。 提案アルゴリズムは、視覚知覚と定量的評価において最先端の手法を超越することができる。
  論文  参考訳（メタデータ） (2023-11-03T12:58:39Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing [54.168567276280505]
  画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。 振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。 第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
  論文  参考訳（メタデータ） (2023-08-14T08:23:58Z)
• Multi-modal Gated Mixture of Local-to-Global Experts for Dynamic Image Fusion [59.19469551774703]
  赤外線と可視画像の融合は,複数の情報源からの包括的情報を統合して,様々な作業において優れた性能を実現することを目的としている。 局所-言語の専門家によるマルチモーダルゲート混合を用いた動的画像融合フレームワークを提案する。 本モデルは,Mixture of Local Experts (MoLE) とMixture of Global Experts (MoGE) から構成される。
  論文  参考訳（メタデータ） (2023-02-02T20:06:58Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。