論文の概要: Coupled Degradation Modeling and Fusion: A VLM-Guided Degradation-Coupled Network for Degradation-Aware Infrared and Visible Image Fusion
- arxiv url: http://arxiv.org/abs/2510.11456v1
- Date: Mon, 13 Oct 2025 14:26:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:30.403306
- Title: Coupled Degradation Modeling and Fusion: A VLM-Guided Degradation-Coupled Network for Degradation-Aware Infrared and Visible Image Fusion
- Title(参考訳): 複合劣化モデリングと核融合: 劣化を考慮した赤外線・可視画像融合のためのVLM誘導劣化結合ネットワーク
- Authors: Tianpei Zhang, Jufeng Zhao, Yiming Zhu, Guangmang Cui,
- Abstract要約: VLM誘導劣化結合型核融合ネットワーク(VGDCFusion)を提案する。
我々のVGDCFusionは、様々な劣化した画像シナリオ下で、既存の最先端の融合アプローチよりも大幅に優れています。
- 参考スコア(独自算出の注目度): 9.915632806109555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing Infrared and Visible Image Fusion (IVIF) methods typically assume high-quality inputs. However, when handing degraded images, these methods heavily rely on manually switching between different pre-processing techniques. This decoupling of degradation handling and image fusion leads to significant performance degradation. In this paper, we propose a novel VLM-Guided Degradation-Coupled Fusion network (VGDCFusion), which tightly couples degradation modeling with the fusion process and leverages vision-language models (VLMs) for degradation-aware perception and guided suppression. Specifically, the proposed Specific-Prompt Degradation-Coupled Extractor (SPDCE) enables modality-specific degradation awareness and establishes a joint modeling of degradation suppression and intra-modal feature extraction. In parallel, the Joint-Prompt Degradation-Coupled Fusion (JPDCF) facilitates cross-modal degradation perception and couples residual degradation filtering with complementary cross-modal feature fusion. Extensive experiments demonstrate that our VGDCFusion significantly outperforms existing state-of-the-art fusion approaches under various degraded image scenarios. Our code is available at https://github.com/Lmmh058/VGDCFusion.
- Abstract(参考訳): 既存の赤外線・可視画像融合法(IVIF)は、一般的に高品質な入力を仮定する。
しかし、劣化した画像を手渡する場合、これらの手法は様々な前処理技法を手動で切り替えることに大きく依存する。
この劣化処理と画像融合の分離は、大幅な性能劣化をもたらす。
本稿では,VLM-Guided Degradation-Coupled Fusion Network (VGDCFusion)を提案する。
具体的には、SPDCE(Specic-Prompt Degradation-Coupled Extractor)は、モダリティ特異的な劣化認識を可能にし、劣化抑制とモード内特徴抽出の連成モデルを確立する。
並行して、JPDCF(Joint-Prompt Degradation-Coupled Fusion)は、クロスモーダルな劣化知覚を促進し、相補的なクロスモーダルな特徴融合を伴う残留劣化フィルタを結合させる。
大規模な実験により、VGDCFusionは、様々な劣化した画像シナリオ下で、既存の最先端の融合アプローチを著しく上回っていることが示された。
私たちのコードはhttps://github.com/Lmmh058/VGDCFusion.comで利用可能です。
関連論文リスト
- Enhancing Infrared Vision: Progressive Prompt Fusion Network and Benchmark [58.61079960074608]
既存の赤外線画像強調法は、個々の劣化に対処することに焦点を当てている。
一般的にRGBセンサーに適用されるオールインワンエンハンスメント法は、有効性が制限されることが多い。
論文 参考訳(メタデータ) (2025-10-10T12:55:54Z) - Dual-Domain Perspective on Degradation-Aware Fusion: A VLM-Guided Robust Infrared and Visible Image Fusion Framework [9.915632806109555]
GD2Fusionは、分解知覚のための視覚言語モデルと二重領域(周波数/空間)共同最適化を統合する新しいフレームワークである。
既存のアルゴリズムやデュアルソースの劣化シナリオの戦略と比較して、融合性能が優れている。
論文 参考訳(メタデータ) (2025-09-05T10:48:46Z) - SGDFuse: SAM-Guided Diffusion for High-Fidelity Infrared and Visible Image Fusion [65.80051636480836]
本稿では,Segment Anything Model(SAM)によって導かれる条件拡散モデルを提案する。
このフレームワークは2段階のプロセスで動作し、まずマルチモーダルな特徴の予備的な融合を行い、その後、拡散モデルの粗大な分極生成を駆動する条件としてセマンティックマスクを利用する。
SGDFuseは主観的評価と客観的評価の両方において最先端の性能を発揮することを示す。
論文 参考訳(メタデータ) (2025-08-07T10:58:52Z) - UniLDiff: Unlocking the Power of Diffusion Priors for All-in-One Image Restoration [16.493990086330985]
UniLDiffは、デグレッションとディテールを意識したメカニズムで強化された統合フレームワークである。
劣化認識機能融合(DAFF:Degradation-Aware Feature Fusion)を導入し,低品質機能を各段階に動的に注入する。
また,Detail-Aware Expert Module (DAEM) をデコーダ内に設計し,テクスチャと微細構造の回復性を高める。
論文 参考訳(メタデータ) (2025-07-31T16:02:00Z) - DDFusion:Degradation-Decoupled Fusion Framework for Robust Infrared and Visible Images Fusion [9.242363983469346]
本稿では,分解脱結合核融合(DDFusion)フレームワークを提案する。
DDFusionはクリーンかつ劣化した条件下で優れた核融合性能を達成する。
論文 参考訳(メタデータ) (2025-04-15T05:02:49Z) - ControlFusion: A Controllable Image Fusion Framework with Language-Vision Degradation Prompts [58.99648692413168]
現在の画像融合法は、現実の撮像シナリオで発生する複合劣化に対処するのに苦労している。
複合劣化を適応的に中和する制御フュージョンを提案する。
実験では、制御フュージョンは、融合品質と劣化処理においてSOTA融合法より優れている。
論文 参考訳(メタデータ) (2025-03-30T08:18:53Z) - DSPFusion: Image Fusion via Degradation and Semantic Dual-Prior Guidance [48.84182709640984]
既存の融合法は高品質な画像に向いているが、厳しい状況下で撮影された劣化画像に苦慮している。
この研究は、textbfDegradation と textbfSemantic textbfPrior による劣化画像 textbfFusion (textbfDSPFusion) のための二重誘導フレームワークを提示する。
論文 参考訳(メタデータ) (2025-03-30T08:18:50Z) - LLDiffusion: Learning Degradation Representations in Diffusion Models
for Low-Light Image Enhancement [118.83316133601319]
現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。
本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
論文 参考訳(メタデータ) (2023-07-27T07:22:51Z) - DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。
近赤外可視画像融合と医用画像融合で有望な融合が得られた。
論文 参考訳(メタデータ) (2023-03-13T04:06:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。