論文の概要: Diff-RF: Mutually Reinforced Image Registration and Fusion via Degradation-Aware Learning
- arxiv url: http://arxiv.org/abs/2609.28235v1
- Date: Wed, 23 Sep 2026 14:59:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.081368
- Title: Diff-RF: Mutually Reinforced Image Registration and Fusion via Degradation-Aware Learning
- Title(参考訳): Diff-RF: 劣化認識学習による相互強化画像登録と融合
- Abstract要約: Diff-RFと呼ばれる劣化認識学習による相互強化された画像登録と融合拡散フレームワークを提案する。
複雑な劣化条件下での未登録画像の高品質な融合を可能にするため, 登録融合と情報復元の本質的な結合を探索する。
融合型視覚的手がかりと対応型幾何学的条件を拡散過程に統合することにより,空間的アライメントを段階的に洗練し,相互補完情報を利用して協調的な拡張を実現する。
- 参考スコア(独自算出の注目度): 30.593329465428813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image registration and fusion aim to establish spatial correspondences from misaligned multi-modal source images, and integrate complementary information. However, in real-world imaging scenarios, source images are often affected by complex and diverse degradations, such as low illumination, noise, etc., which severely hinder the effectiveness of registration and fusion. To address this issue, we propose a mutually reinforced image registration and fusion diffusion framework via degradation-aware learning, termed Diff-RF. It explores the intrinsic coupling between registration-fusion and information restoration in the degradation conditions, enabling high-quality fusion of unregistered images under complex degradation conditions. First, the intra-modal restoration module is designed to alleviate modality-specific degradations by leveraging information within each modality, thereby providing more reliable structural representations for registration and facilitating subsequent cross-modal fusion. Second, we develop a cross-modal diffusion registration and fusion module that establishes bidirectional interaction between registration and fusion. By integrating fusion-derived visual cues and correspondence-based geometric conditions into the diffusion process, the proposed framework progressively refines spatial alignment and exploits cross-modal complementary information to achieve collaborative enhancement. Rather than treating them as independent components, degradation-aware information restoration and the collaborative optimization of registration and fusion are tightly coupled, achieving overall performance improvements. Extensive experiments on multiple extended datasets demonstrate that Diff-RF achieves superior registration accuracy and fusion quality under various degraded scenarios, exhibiting strong robustness and generalization ability.
- Abstract(参考訳): 画像登録と融合は、不一致なマルチモーダルソース画像から空間対応を確立し、相補的な情報を統合することを目的としている。
しかし、実世界の画像のシナリオでは、光源画像は、低照度やノイズなど、複雑で多様な劣化の影響を受け、登録や融合の有効性を著しく損なうことがしばしばある。
この問題に対処するために,Diff-RFと呼ばれる劣化認識学習による相互強化された画像登録と融合拡散フレームワークを提案する。
複雑な劣化条件下での未登録画像の高品質な融合を可能にするため, 登録融合と情報復元の本質的な結合を探索する。
第一に、モダリティ内修復モジュールは、各モダリティ内の情報を活用することにより、モダリティ固有の劣化を緩和し、より信頼性の高い構造表現を提供することにより、モダリティ間の融合を促進するように設計されている。
第2に, マルチモーダル拡散登録・融合モジュールを開発し, 登録と融合の双方向相互作用を確立する。
融合型視覚的手がかりと対応型幾何学的条件を拡散過程に統合することにより,空間的アライメントを段階的に洗練し,相互補完情報を利用して協調的な拡張を実現する。
独立コンポーネントとして扱うのではなく、劣化認識情報復元と登録と融合の協調最適化が緊密に結合され、全体的な性能改善が達成される。
複数の拡張データセットに対する大規模な実験により、Diff-RFは様々な劣化シナリオにおいて優れた登録精度と融合品質を達成し、強い堅牢性と一般化能力を示すことが示された。
関連論文リスト
- UniDiffFusion: A Unified Diffusion Framework for Multi-Task and Degradation-Robust Image Fusion [14.759665227535173]
一般画像融合は、複数のソース画像から補完的な情報を統合することを目的としている。
既存の手法はしばしばタスク固有のモデルに依存し、様々な劣化条件下で堅牢な性能を維持するのに苦労する。
マルチタスクと劣化ロバスト画像融合のための統合拡散フレームワークUniDiffFusionを提案する。
論文 参考訳(メタデータ) (2026-08-22T05:36:59Z) - FMRFusion: Frequency-Aware Multi-View Representation Learning for Heterogeneous Image Fusion [22.180711075004538]
FMRFusionは異種画像融合のための周波数認識型表現学習ネットワークである。
識別構造を捉えるために, マルチスケール構造トラヒック認識モジュールが導入された。
クロスビュー補間相互作用を具体化し、反射光情報と放射強度応答の相補的特性を明示的にモデル化し、融合させる。
論文 参考訳(メタデータ) (2026-06-06T05:23:06Z) - Reversible Efficient Diffusion for Image Fusion [66.35113261837469]
マルチモーダル画像融合は、様々なソース画像からの補完情報を統一表現に統合することを目的としている。
拡散モデルは画像生成において顕著な生成能力を示してきたが、画像融合タスクに適用した場合、しばしば細かな損失に悩まされる。
この問題はマルコフ過程に固有のノイズ誤差の蓄積から発生し、融合した結果の不整合と劣化をもたらす。
本稿では,分散推定を回避しつつ,拡散モデルの強力な生成能力を継承する,明示的な教師付きトレーニングフレームワークであるReversible Efficient Diffusion(RED)モデルを提案する。
論文 参考訳(メタデータ) (2026-01-28T05:14:55Z) - Efficient Rectified Flow for Image Fusion [48.330480065862474]
本稿では,画像融合のための1ステップの効率的な拡散モデルであるRFfusionを提案する。
また,画像融合に適したタスク固有の変分オートエンコーダアーキテクチャを提案する。
提案手法は,推算速度と融合品質の両方の観点から,他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2025-09-20T06:21:00Z) - UniFuse: A Unified All-in-One Framework for Multi-Modal Medical Image Fusion Under Diverse Degradations and Misalignments [20.348314952092792]
現在のマルチモーダル医療画像融合は、典型的には、ソース画像は高品質で、ピクセルレベルで完全に整列していると仮定する。
劣化認識学習モジュールを組み込むことで、UniFuseは入力画像から多方向情報をシームレスに統合する。
本稿では,LoRA の原理に基づく適応型 LoRA Synergistic Network (ALSN) を取り入れた,ユニバーサル・フィーチャー・リカバリ・アンド・フュージョン・モジュールを提案する。
論文 参考訳(メタデータ) (2025-06-28T02:44:22Z) - A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion [46.545365049713105]
赤外線および可視画像融合は、ソース画像の強度と詳細情報を含む融合画像を生成することを目的としている。
既存の手法は主に損失関数の単純な重みを採用し、各モードの情報保持を決定する。
近赤外・可視画像融合のためのマルチスケールデュアルアテンション(MDA)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-07T14:40:05Z) - Improving Misaligned Multi-modality Image Fusion with One-stage
Progressive Dense Registration [67.23451452670282]
多モード画像間の相違は、画像融合の課題を引き起こす。
マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。
このスキームは、一段階最適化のみで粗大な登録を行う。
論文 参考訳(メタデータ) (2023-08-22T03:46:24Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [68.78897015832113]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-11-20T12:02:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。