論文の概要: DSPFusion: Image Fusion via Degradation and Semantic Dual-Prior Guidance

• arxiv url: http://arxiv.org/abs/2503.23355v1
• Date: Sun, 30 Mar 2025 08:18:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:57.075468
• Title: DSPFusion: Image Fusion via Degradation and Semantic Dual-Prior Guidance
• Title（参考訳）: DSPFusion: 劣化とセマンティック双極子誘導による画像融合
• Authors: Linfeng Tang, Chunyu Li, Guoqing Wang, Yixuan Yuan, Jiayi Ma,
• Abstract要約: 既存の融合法は高品質な画像に向いているが、厳しい状況下で撮影された劣化画像に苦慮している。 この研究は、textbfDegradation と textbfSemantic textbfPrior による劣化画像 textbfFusion (textbfDSPFusion) のための二重誘導フレームワークを提示する。
• 参考スコア（独自算出の注目度）: 48.84182709640984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing fusion methods are tailored for high-quality images but struggle with degraded images captured under harsh circumstances, thus limiting the practical potential of image fusion. This work presents a \textbf{D}egradation and \textbf{S}emantic \textbf{P}rior dual-guided framework for degraded image \textbf{Fusion} (\textbf{DSPFusion}), utilizing degradation priors and high-quality scene semantic priors restored via diffusion models to guide both information recovery and fusion in a unified model. In specific, it first individually extracts modality-specific degradation priors, while jointly capturing comprehensive low-quality semantic priors. Subsequently, a diffusion model is developed to iteratively restore high-quality semantic priors in a compact latent space, enabling our method to be over $20 \times$ faster than mainstream diffusion model-based image fusion schemes. Finally, the degradation priors and high-quality semantic priors are employed to guide information enhancement and aggregation via the dual-prior guidance and prior-guided fusion modules. Extensive experiments demonstrate that DSPFusion mitigates most typical degradations while integrating complementary context with minimal computational cost, greatly broadening the application scope of image fusion.
• Abstract（参考訳）: 既存の融合法は高品質な画像に向いているが、厳しい状況下で撮影された劣化した画像に苦しむため、画像融合の現実的な可能性を制限することができる。 本研究は, 劣化先行と, 拡散モデルにより復元された高品質なシーンセマンティック先行を生かし, 情報回復と統合モデルでの融合を誘導する, 分解された画像に対する \textbf{D}emantic \textbf{S}emantic \textbf{P}rior dual-guided framework を提示する。 特定の方法では、まず個別にモダリティ特異的な劣化先行を抽出し、同時に包括的に低品質なセマンティック先行をキャプチャする。 その後、拡散モデルを構築し、コンパクトな潜在空間における高品質なセマンティック先行を反復的に復元し、本手法が主流の拡散モデルに基づく画像融合方式よりも20ドル以上高速になるようにした。 最後に、劣化先行と高品質なセマンティック先行を用いて、二重優先誘導および事前誘導融合モジュールを介して情報強化と集約を誘導する。 大規模な実験により、DSPFusionは相補的コンテキストを最小の計算コストで統合し、画像融合の応用範囲を大幅に広げながら、ほとんどの典型的な劣化を緩和することが示された。

関連論文リスト

• Enhanced Semantic Extraction and Guidance for UGC Image Super Resolution [18.058473238611725]
  本稿では,拡散フレームワークにセマンティックガイダンスを組み込むことにより,画像超解像に対する新しいアプローチを提案する。 本手法は,野生データセットと合成データセットの劣化の矛盾に対処する。 我々のモデルは、CVIRE 2025Short-form Image Super-Resolution Challengeで2位を獲得した。
  論文  参考訳（メタデータ） (2025-04-14T05:26:24Z)
• Learning a Unified Degradation-aware Representation Model for Multi-modal Image Fusion [13.949209965987308]
  All-in-One Degradation-Aware Fusion Models (ADFM)は、ソース画像からの劣化を軽減し、高品質の融合画像を生成することで複雑なシーンに対処する。 メインストリームADFMは、しばしば高度に合成されたマルチモーダル・マルチクオリティ・イメージを監督に頼り、クロスモーダルおよび希少な劣化シナリオにおけるその有効性を制限している。 本稿では、赤外線と可視画像融合のための学習駆動統一表現モデルLUREについて述べる。
  論文  参考訳（メタデータ） (2025-03-10T08:16:36Z)
• Timestep-Aware Diffusion Model for Extreme Image Rescaling [47.89362819768323]
  本稿では,時間認識拡散モデル(TADM)と呼ばれる,画像再スケーリングのための新しいフレームワークを提案する。 TADMは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を行う。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
  論文  参考訳（メタデータ） (2024-08-17T09:51:42Z)
• DaLPSR: Leverage Degradation-Aligned Language Prompt for Real-World Image Super-Resolution [19.33582308829547]
  本稿では, 精度, 精細度, 高忠実度画像復元のために, 劣化対応言語プロンプトを活用することを提案する。 提案手法は,新しい最先端の知覚品質レベルを実現する。
  論文  参考訳（メタデータ） (2024-06-24T09:30:36Z)
• BlindDiff: Empowering Degradation Modelling in Diffusion Models for Blind Image Super-Resolution [52.47005445345593]
  BlindDiff は SISR のブラインド劣化に対処するための DM ベースのブラインドSR 手法である。 BlindDiffはMAPベースの最適化をDMにシームレスに統合する。 合成データセットと実世界のデータセットの両方の実験は、BlindDiffが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2024-03-15T11:21:34Z)
• JoReS-Diff: Joint Retinex and Semantic Priors in Diffusion Model for Low-light Image Enhancement [69.6035373784027]
  低照度画像強調(LLIE)は条件付き拡散モデルを用いて有望な性能を実現している。 従来手法は、タスク固有の条件戦略の十分な定式化の重要性を無視するものであった。 本稿では,Retinex および semantic-based pre-processing condition を付加した新しいアプローチである JoReS-Diff を提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:05:57Z)
• PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance [65.5618804029422]
  これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。 実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。 提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
  論文  参考訳（メタデータ） (2023-09-19T17:51:33Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。