論文の概要: Beyond Spatial-Domain Supervision: A Relation Constrained Space for Multi-Modal Image Fusion

• arxiv url: http://arxiv.org/abs/2609.38968v1
• Date: Wed, 30 Sep 2026 04:38:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.186587
• Title: Beyond Spatial-Domain Supervision: A Relation Constrained Space for Multi-Modal Image Fusion
• Title（参考訳）: 空間領域超越:マルチモーダル画像融合のための関係制約空間
• Abstract要約: MMIF(Multi-modal Image fusion)は、共有情報の統合、キューの保存、モダリティ間のクロスモーダルコンフリクトの調整により、単一のイメージを形成することを目的としている。 既存のMMIFの監督は、一般に空間領域の情報源や勾配の変種を土台真実の代理として用いている。 本研究では,融合管理を空間領域から学習関係空間へ移行させる,関係制約付き監視パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 10.3056839250827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal image fusion (MMIF) aims to form a single image by integrating shared information, preserving complementary cues, and coordinating cross-modal conflicts across modalities. However, due to the absence of ground-truth fused images, existing MMIF supervision commonly uses spatial-domain sources or gradient variants as surrogate ground truth, making the supervision mechanism inherently misaligned with the goal of MMIF and causing pixel-level compromise or modality bias. To address this, we propose a relation-constrained supervision paradigm that moves fusion supervision from the spatial domain to a learned relation space. Rather than relying solely on direct source approximation, we further leverage frozen pretrained representation models as information providers and design a learnable feature adapter to align heterogeneous DINO and CLIP features into a unified supervision space. The adapter infers three relation parameters, namely sharedness, dominance, and coordination radius, which define three losses corresponding to the MMIF's goal. To make this space reliable, we devise a self-supervised contrastive ranking objective tailored to the adapter and couple it with the fusion network through alternating optimization. Extensive experiments show that the proposed supervision space yields significant gains regardless of which mainstream backbone the fusion network adopts, offering a supervision paradigm better aligned with the goal of MMIF. Code: github.com/GMY628/RCS-Fusion.
• Abstract（参考訳）: MMIF(Multi-modal Image fusion)は、共有情報の統合、補完的手がかりの保存、モダリティ間のクロスモーダルコンフリクトの調整により、単一の画像を形成することを目的としている。 しかし, 既存のMMIF監督では, 地平線画像が欠如しているため, 空間領域の情報源や勾配の変種を地平線として用い, MMIFの目的と本質的に一致せず, 画素レベルの妥協やモダリティバイアスを引き起こす。 そこで本研究では,融合管理を空間領域から学習した関係空間へ移行させる,関係制約付き監視パラダイムを提案する。 直接的ソース近似にのみ依存するのではなく、情報提供者としての凍結事前学習表現モデルを活用し、異種DINOとCLIP機能を統一的な管理空間に整合させるための学習可能な機能アダプタを設計する。 アダプタは、3つの関係パラメータ、すなわち共有性、支配性、調整半径を推論し、MMIFの目標に対応する3つの損失を定義する。 この空間を信頼性の高いものにするために,アダプタに合わせた自己教師付きコントラスト的ランキングを考案し,交互に最適化することで融合ネットワークと結合する。 広範囲にわたる実験の結果,提案手法は核融合ネットワークが採用するメインストリームのバックボーンによらず,MMIFの目標に沿った監督パラダイムを提供することによって,大きな利益をもたらすことが示された。 コード:github.com/GMY628/RCS-Fusion

関連論文リスト

• Semantic-Guided Fusion Network for Multi-Source Remote Sensing Image Classification [42.943666137803184]
  マルチソースリモートセンシング画像分類のためのセマンティックガイド型フュージョンネットワーク(SGFNet)を提案する。 SMCBはコンテキスト関係に応じて意味認識型畳み込みカーネルを動的に生成するように設計されている。 FMFBは周波数領域で相互モード間相互作用を行うために導入された。
  論文  参考訳（メタデータ） (2026-09-16T21:50:29Z)
• ConFusion: Continuous Fusion Space Learning for Fine-Grained Controllable Infrared and Visible Image Fusion [0.410492188035848]
  コンフュージョン(Confusion)は、空間認識変調により連続的な融合空間を学習する新しいフレームワークである。 融合品質と下流タスクの両方において、コンフュージョンは複数のメトリクスをまたいだ最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-07-26T11:00:10Z)
• Fusion in Your Way: Aligning Image Fusion with Heterogeneous Demands via Direct Preference Optimization [9.744491531292393]
  マルチモーダル処理、赤外線および可視画像融合(IVIF)における重要な技術は、視覚強調および下流視覚タスクのための補完スペクトル情報の統合において重要な役割を担っている。 本稿では,PALDMとPCLDMを統合したDPOFusionを提案する。 我々のフレームワークは、人間、視覚言語モデル、タスク駆動ネットワーク間の正確な優先順位調整を実現するだけでなく、適応的な融合品質とタスク指向の伝達性のための新しいベンチマークも設定する。
  論文  参考訳（メタデータ） (2026-05-07T11:34:41Z)
• CtrlFuse: Mask-Prompt Guided Controllable Infrared and Visible Image Fusion [51.060328159429154]
  赤外線と可視画像の融合は、相補的なモダリティを組み合わせることで、全天候の知覚可能な画像を生成する。 我々は,マスクプロンプトによって誘導されるインタラクティブな動的融合を可能にする,制御可能な画像融合フレームワークであるCtrlFuseを提案する。 実験では、融合制御性とセグメンテーション精度の両立を実証し、適応されたタスク分岐は元のセグメンテーションモデルよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-12T13:36:48Z)
• Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
  DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。 パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
  論文  参考訳（メタデータ） (2025-12-08T05:04:54Z)
• Unsupervised Hyperspectral and Multispectral Image Fusion via Self-Supervised Modality Decoupling [16.923899489263945]
  ハイパースペクトル・マルチスペクトル画像融合(HMIF)は、低分解能ハイパースペクトル画像(LR-HSI)と高分解能マルチスペクトル画像(HR-MSI)を融合することを目的としている。 HMIF法は通常、2つのモードからの直接融合を効果的な監督なしに適用する。 本稿では, エンドツーエンドの自己教師型textbfModality-Decoupled textbfSpatial-textbfSpectral Fusion (textbfMossFuse) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-06T06:22:43Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• Similarity-Aware Fusion Network for 3D Semantic Segmentation [87.51314162700315]
  本研究では,3次元セマンティックセグメンテーションのための2次元画像と3次元点雲を適応的に融合する類似性認識融合ネットワーク(SAFNet)を提案する。 我々は、入力とバックプロジェクションされた(2Dピクセルから)点雲の間の幾何学的および文脈的類似性を初めて学習する、後期融合戦略を採用している。 SAFNetは、様々なデータ完全性にまたがって、既存の最先端の核融合ベースのアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2021-07-04T09:28:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。