論文の概要: CDeFuse: Continuous Decomposition for Infrared and Visible Image Fusion

• arxiv url: http://arxiv.org/abs/2406.04689v1
• Date: Fri, 7 Jun 2024 07:01:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 15:09:53.888066
• Title: CDeFuse: Continuous Decomposition for Infrared and Visible Image Fusion
• Title（参考訳）: CDeFuse: 赤外線と可視画像融合のための連続分解
• Authors: Haolong Ma, Hui Li, Chunyang Cheng, Xiaoning Song, Zhongwei Shen,
• Abstract要約: 新たな分解機構である連続分解核融合(CDeFuse)を提案する。 CDeFuseは元の3部分解を各スケールでより一般的なK部分解に拡張する。 K部分分解を支援するために連続分解モジュール(CDM)を導入する。
• 参考スコア（独自算出の注目度）: 6.998912909441719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As a common image processing technique, image decomposition is often used to extract complementary information between modalities. In current decomposition-based image fusion methods, typically, source images are decomposed into three parts at single scale (i.e., visible-exclusive part, infrared-exclusive part, and common part) and lacking interaction between modalities during the decomposition process. These results in the inability of fusion images to effectively focus on finer complementary information between modalities at various scales. To address the above issue, a novel decomposition mechanism, Continuous Decomposition Fusion (CDeFuse), is proposed. Firstly, CDeFuse extends the original three-part decomposition to a more general K-part decomposition at each scale through similarity constraints to fuse multi-scale information and achieve a finer representation of decomposition features. Secondly, a Continuous Decomposition Module (CDM) is introduced to assist K-part decomposition. Its core component, State Transformer (ST), efficiently captures complementary information between modalities by utilizing multi-head self-attention mechanism. Finally, a novel decomposition loss function and the corresponding computational optimization strategy are utilized to ensure the smooth progress of the decomposition process while maintaining linear growth in time complexity with the number of decomposition results K. Extensive experiments demonstrate that our CDeFuse achieves comparable performance compared to previous methods. The code will be publicly available.
• Abstract（参考訳）: 一般的な画像処理技術として、画像分解はモダリティ間の補完情報を抽出するためにしばしば用いられる。 現在の分解に基づく画像融合法では、ソース画像は、単一のスケールで3つの部分(可視排他部分、赤外排他部分、共通部分)に分解され、分解過程におけるモダリティ間の相互作用が欠如している。 これらの結果から,様々なスケールでのモーダル間の相補的情報に効果的に焦点を合わせることができなくなった。 上記の問題に対処するため,新しい分解機構であるCDeFuse(Continuous Decomposition Fusion)を提案する。 第一に、CDeFuseは元の3部分解を、類似性制約を通じて各スケールでより一般的なK部分解に拡張し、マルチスケール情報を融合し、分解機能のより詳細な表現を実現する。 次に、K部分分解を支援するために連続分解モジュール(CDM)を導入する。 コアコンポーネントであるState Transformer(ST)は、マルチヘッド自己保持機構を利用することで、モダリティ間の補完情報を効率的にキャプチャする。 最後に、新しい分解損失関数とそれに対応する計算最適化戦略を用いて、分解結果Kと時間的複雑性の線形成長を保ちながら、分解過程の円滑な進行を確保する。 コードは公開されます。

関連論文リスト

• Federated Low-Rank Tensor Estimation for Multimodal Image Reconstruction [9.075990246977891]
  本研究では,大規模マルチモーダルデータを管理するために,タッカー分解を適用し,共同分解とランダムなスケッチ処理を取り入れたフェデレーション画像再構成手法を提案する。 提案手法は,既存手法と比較して,再現性や通信圧縮に優れることを示す。
  論文  参考訳（メタデータ） (2025-02-04T23:02:46Z)
• InterLCM: Low-Quality Images as Intermediate States of Latent Consistency Models for Effective Blind Face Restoration [106.70903819362402]
  拡散前駆体は、低画質画像の復元のために、復元データセットの微細調整拡散モデル(DM)によってブラインドフェイス復元(BFR)に使用されている。 我々は,その優れたセマンティック一貫性と効率のために潜在一貫性モデル(LCM)を活用するために,InterLCMを提案する。 InterLCMは、合成データセットと実世界のデータセットの両方において既存のアプローチより優れており、推論速度も高速である。
  論文  参考訳（メタデータ） (2025-02-04T10:51:20Z)
• Modality Decoupling is All You Need: A Simple Solution for Unsupervised Hyperspectral Image Fusion [12.622742399195209]
  ハイパースペクトル画像融合(HIF)は、低分解能ハイパースペクトル画像(LR-HSI)と高分解能マルチスペクトル画像(HR-MSI)を融合することを目的としている。 現在の方法は通常、2つのモダリティからの直接融合を有効な監督なしに適用する。 本研究では,HIF にモダリティデカップリングが不可欠であると仮定した,教師なし HIF に対する単純かつ効果的な解を提案する。
  論文  参考訳（メタデータ） (2024-12-06T06:22:43Z)
• Low-Light Video Enhancement via Spatial-Temporal Consistent Illumination and Reflection Decomposition [68.6707284662443]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的および静的なシーンの復元を目指している。 1つの重要な側面は、時間空間照明と外観強化バージョンに特化した一貫性の制約を定式化することである。 本稿では,レチネックスを基盤とした革新的なビデオ分解戦略について述べる。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)
• BlindDiff: Empowering Degradation Modelling in Diffusion Models for Blind Image Super-Resolution [52.47005445345593]
  BlindDiff は SISR のブラインド劣化に対処するための DM ベースのブラインドSR 手法である。 BlindDiffはMAPベースの最適化をDMにシームレスに統合する。 合成データセットと実世界のデータセットの両方の実験は、BlindDiffが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2024-03-15T11:21:34Z)
• FuseFormer: A Transformer for Visual and Thermal Image Fusion [3.6064695344878093]
  本稿では,従来の評価指標を損失関数として用いた場合の限界を緩和する画像融合問題に対する新しい手法を提案する。 提案手法は,局所的およびグローバルなコンテキスト情報に順応的に対処するトランスフォーマーベースのマルチスケール融合戦略を統合する。 提案手法は,新たな損失関数の定義とともに,他の競合融合アルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-01T19:40:39Z)
• Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model [59.08821399652483]
  照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。 これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。 我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。 Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
  論文  参考訳（メタデータ） (2023-11-20T09:55:06Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• Bridging Component Learning with Degradation Modelling for Blind Image Super-Resolution [69.11604249813304]
  視覚障害者のためのコンポーネント分解・協調最適化ネットワーク(CDCN)を提案する。 CDCNは入力LR画像を特徴空間の構造と詳細成分に分解する。 本稿では,HR画像の細部と構造復元過程を協調的に監督する,劣化駆動型学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-03T14:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。