論文の概要: Unsupervised Hyperspectral and Multispectral Image Fusion via Self-Supervised Modality Decoupling

• arxiv url: http://arxiv.org/abs/2412.04802v3
• Date: Tue, 22 Apr 2025 04:20:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-23 16:14:52.877162
• Title: Unsupervised Hyperspectral and Multispectral Image Fusion via Self-Supervised Modality Decoupling
• Title（参考訳）: 自己監督型モダリティデカップリングによる教師なしハイパースペクトル・マルチスペクトル画像融合
• Authors: Songcheng Du, Yang Zou, Zixu Wang, Xingyuan Li, Ying Li, Changjing Shang, Qiang Shen,
• Abstract要約: ハイパースペクトル・マルチスペクトル画像融合(HMIF)は、低分解能ハイパースペクトル画像(LR-HSI)と高分解能マルチスペクトル画像(HR-MSI)を融合することを目的としている。 HMIF法は通常、2つのモードからの直接融合を効果的な監督なしに適用する。 本稿では, エンドツーエンドの自己教師型textbfModality-Decoupled textbfSpatial-textbfSpectral Fusion (textbfMossFuse) フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.923899489263945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperspectral and Multispectral Image Fusion (HMIF) aims to fuse low-resolution hyperspectral images (LR-HSIs) and high-resolution multispectral images (HR-MSIs) to reconstruct high spatial and high spectral resolution images. Current methods typically apply direct fusion from the two modalities without effective supervision, leading to an incomplete perception of deep modality-complementary information and a limited understanding of inter-modality correlations. To address these issues, we propose a simple yet effective solution for unsupervised HMIF, revealing that modality decoupling is key to improving fusion performance. Specifically, we propose an end-to-end self-supervised \textbf{Mo}dality-Decoupled \textbf{S}patial-\textbf{S}pectral Fusion (\textbf{MossFuse}) framework that decouples shared and complementary information across modalities and aggregates a concise representation of both LR-HSIs and HR-MSIs to reduce modality redundancy. Also, we introduce the subspace clustering loss as a clear guide to decouple modality-shared features from modality-complementary ones. Systematic experiments over multiple datasets demonstrate that our simple and effective approach consistently outperforms the existing HMIF methods while requiring considerably fewer parameters with reduced inference time. The anonymous source code is in \href{https://github.com/dusongcheng/MossFuse}{MossFuse}.
• Abstract（参考訳）: ハイパースペクトル・マルチスペクトル画像融合(HMIF)は、高分解能高分解能画像(LR-HSI)と高分解能高分解能画像(HR-MSI)を融合して高分解能画像と高分解能画像の再構成を目的とする。 現在の手法では、2つのモダリティからの直接融合を効果的な監督なしに適用し、深いモダリティ補完情報の不完全な認識と、モダリティ間の相関の限定的な理解につながる。 これらの問題に対処するため、教師なしHMIFの簡易かつ効果的な解法を提案し、融合性能向上にモダリティデカップリングが重要であることを示した。 具体的には、モダリティ間で共有情報と補完情報を分離し、LR-HSIとHR-MSIの簡潔な表現を集約し、モダリティの冗長性を減少させる、エンド・ツー・エンドの自己監督型 \textbf{Mo}dality-Decoupled \textbf{S}patial-\textbf{S}pectral Fusion (\textbf{MossFuse}) フレームワークを提案する。 また,部分空間クラスタリング損失をモダリティ共有特徴とモダリティ補完特徴とを分離するための明確なガイドとして導入する。 複数のデータセットに対する体系的な実験により、我々の単純で効果的なアプローチは既存のHMIF手法より一貫して優れており、推論時間を短縮したパラメータがかなり少ないことが示される。 匿名のソースコードは \href{https://github.com/dusongcheng/MossFuse}{MossFuse} にある。

関連論文リスト

• FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [63.87313550399871]
  画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。 自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。 PSTは、画像基礎モデルと潜在空間アライメントによるクロスモーダルな知識伝達を確立する。 FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
  論文  参考訳（メタデータ） (2025-03-25T15:04:53Z)
• Unsupervised Hyperspectral and Multispectral Image Blind Fusion Based on Deep Tucker Decomposition Network with Spatial-Spectral Manifold Learning [15.86617273658407]
  タッカー分解と空間スペクトル多様体学習(DTDNML)に基づくハイパースペクトル・マルチスペクトル画像の教師なしブラインド融合法を提案する。 本手法は,様々なリモートセンシングデータセット上でのハイパースペクトルとマルチスペクトル融合の精度と効率を向上させる。
  論文  参考訳（メタデータ） (2024-09-15T08:58:26Z)
• Physics-Inspired Degradation Models for Hyperspectral Image Fusion [61.743696362028246]
  ほとんどの融合法は、融合アルゴリズム自体にのみ焦点をあて、分解モデルを見落としている。 我々は、LR-HSIとHR-MSIの劣化をモデル化するための物理インスパイアされた劣化モデル(PIDM)を提案する。 提案したPIDMは,既存の核融合法における核融合性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-02-04T09:07:28Z)
• Multi-Depth Branch Network for Efficient Image Super-Resolution [12.042706918188566]
  超解像(SR)における長年の課題は、低解像(LR)の高頻度細部を効率的に拡張する方法である。 MDBM(Multi-Depth Branch Module)を特徴とする非対称SRアーキテクチャを提案する。 MDBMには異なる深さの枝があり、高い周波数と低周波の情報を同時に、効率的に捉えるように設計されている。
  論文  参考訳（メタデータ） (2023-09-29T15:46:25Z)
• Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for Loss-free Multi-Exposure Image Fusion [60.221404321514086]
  マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。 本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
  論文  参考訳（メタデータ） (2023-09-03T08:07:26Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Compound Attention and Neighbor Matching Network for Multi-contrast MRI Super-resolution [7.197850827700436]
  MRIのマルチコントラスト超解像は、シングルイメージ超解像よりも優れた結果が得られる。 マルチコントラストMRI SRのための合成アテンションと近接マッチング(CANM-Net)を備えた新しいネットワークアーキテクチャを提案する。 CANM-Netは、ふりかえりと将来の実験において最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2023-07-05T09:44:02Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection [59.02821429555375]
  この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。 経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。 マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
  論文  参考訳（メタデータ） (2023-05-17T06:48:35Z)
• Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
  本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。 IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。 スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
  論文  参考訳（メタデータ） (2023-03-29T07:02:20Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Multi-Scale Cascading Network with Compact Feature Learning for RGB-Infrared Person Re-Identification [35.55895776505113]
  マルチスケールパートアウェアカスケードフレームワーク(MSPAC)は、マルチスケールの細かい機能を部分からグローバルに集約することによって策定されます。 したがって、クロスモダリティ相関は、特徴的モダリティ不変な特徴学習のための顕著な特徴を効率的に探索することができる。
  論文  参考訳（メタデータ） (2020-12-12T15:39:11Z)
• Coupled Convolutional Neural Network with Adaptive Response Function Learning for Unsupervised Hyperspectral Super-Resolution [28.798775822331045]
  ハイパースペクトル超解像(Hyperspectral super- resolution)とは、高空間分解能と高スペクトル分解能の両方を持つ画像を生成するためにHSIとMSIを融合させることを指す。 本研究では,従来のPSFやSRF情報を使わずにHSI-MSI融合の問題を解く,教師なし深層学習に基づく融合法HyCoNetを提案する。
  論文  参考訳（メタデータ） (2020-07-28T06:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。