論文の概要: When Integral Meets Decomposition: A Signal-Level Self-Supervised Feature Decompose Paradigm for Multi-Modal Image Fusion

• arxiv url: http://arxiv.org/abs/2609.39004v1
• Date: Wed, 30 Sep 2026 05:16:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.22612
• Title: When Integral Meets Decomposition: A Signal-Level Self-Supervised Feature Decompose Paradigm for Multi-Modal Image Fusion
• Title（参考訳）: Integrated Meets Decomposition: A Signal-Level Self-Supervised Feature Decompose Paradigm for Multi-Modal Image Fusion
• Abstract要約: 本稿では,1次元信号レベルの自己教師型特徴分解パラダイムを提案する。 我々の中心となる洞察は、不明瞭な2次元画像レベルの監視から積分駆動1次元信号レベル最適化問題への特徴分解を再構成することである。 ステージIでは,信号レベルでの積分駆動分解と,画像レベルでの構造保存を行うための2つのプレテキストタスクを設計する。
• 参考スコア（独自算出の注目度）: 16.235578945045077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal image fusion (MMIF) aims to integrate complementary information from different modalities into a high-quality fused image and support downstream tasks. Recently, feature decomposition has become an important paradigm by separating source images into common and modality-specific unique features. However, existing methods lack clear supervision because ground-truth (GT) decomposition feature maps are unavailable. They usually combine multiple image-level metrics as losses, which are inherently incomplete and may conflict since each pixel couples attributes such as texture, edge, and contour. To address this, we propose a 1D signal-level self-supervised feature decomposition paradigm. Our core insight is to reformulate feature decomposition from unclear 2D image-level supervision into an integral-driven 1D signal-level optimization problem. This objective-level reformulation uses the 1D signal form to compute the integral constraint. The decomposer is optimized by the integral area between common and original signals, enabling more stable optimization with a clear optimization objective. Our model follows a two-stage SSL framework. Stage I designs dual pretext tasks for integral-driven decomposition at the signal level and structure-preserving reconstruction at the image level. Stage II fuses unique features and combines them with common features to reconstruct the fused image. Experiments on representative MMIF tasks show state-of-the-art (SOTA) performance. Code: github.com/Wangjiayu0512/SIDFusion.
• Abstract（参考訳）: MMIF(Multimodal Image fusion)は、異なるモードからの補完情報を高品質な融合画像に統合し、下流タスクをサポートすることを目的としている。 近年、特徴分解は、ソースイメージを共通の特徴とモダリティ固有の特徴に分離することで重要なパラダイムとなっている。 しかし、GT分解特徴写像が利用できないため、既存の手法には明確な監督が欠如している。 通常、複数の画像レベルのメトリクスを損失として組み合わせるが、これは本質的に不完全であり、各ピクセルがテクスチャ、エッジ、輪郭などの属性を結合しているため矛盾する可能性がある。 そこで本研究では,1次元信号レベルの自己教師型特徴分解パラダイムを提案する。 我々の中心となる洞察は、不明瞭な2次元画像レベルの監視から積分駆動1次元信号レベル最適化問題への特徴分解を再構成することである。 この客観的レベルの再構成は、積分制約を計算するために1D信号形式を使用する。 除算器は、共通信号と原信号の積分領域によって最適化され、明確な最適化目標でより安定した最適化を可能にする。 私たちのモデルは2段階のSSLフレームワークに従っています。 ステージIは、信号レベルでの積分駆動分解と、画像レベルでの構造保存再構成のための二重プレテキストタスクを設計する。 ステージIIはユニークな特徴を融合させ、それらを共通の特徴と組み合わせて融合したイメージを再構築する。 代表的MMIFタスクの実験は、最先端(SOTA)性能を示す。 コード:github.com/Wangjiayu0512/SIDFusion

関連論文リスト

• FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [92.4205087439928]
  画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。 自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。 PSTは、画像基盤モデルとの遅延空間アライメントによるクロスモーダルな知識伝達を確立し、データ不足を効果的に軽減する。 FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。 この組み合わせのアプローチにより、FUSEはターゲットデータセットに対する軽量デコーダ適応のみを必要とするユニバーサルなイメージイベントを構築することができる。
  論文  参考訳（メタデータ） (2025-03-25T15:04:53Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• FuseFormer: A Transformer for Visual and Thermal Image Fusion [3.6064695344878093]
  本稿では,従来の評価指標を損失関数として用いた場合の限界を緩和する画像融合問題に対する新しい手法を提案する。 提案手法は,局所的およびグローバルなコンテキスト情報に順応的に対処するトランスフォーマーベースのマルチスケール融合戦略を統合する。 提案手法は,新たな損失関数の定義とともに,他の競合融合アルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-01T19:40:39Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• DeepMLE: A Robust Deep Maximum Likelihood Estimator for Two-view Structure from Motion [9.294501649791016]
  動きからの2次元構造(SfM)は3次元再構成と視覚SLAM(vSLAM)の基礎となる。 本稿では,2視点SfM問題を最大最大推定(MLE)として定式化し,DeepMLEと表記されるフレームワークを用いて解いた。 提案手法は,最先端の2ビューSfM手法よりも精度と一般化能力において優れる。
  論文  参考訳（メタデータ） (2022-10-11T15:07:25Z)
• Self-supervised Correlation Mining Network for Person Image Generation [9.505343361614928]
  人物画像生成は、ソース画像の非剛性変形を実現することを目的としている。 特徴空間のソース画像を再構成する自己教師付き相関マイニングネットワーク(SCM-Net)を提案する。 クロススケールポーズ変換の忠実度を向上させるために,グラフに基づく身体構造保持損失を提案する。
  論文  参考訳（メタデータ） (2021-11-26T03:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。