論文の概要: Modality Decoupling is All You Need: A Simple Solution for Unsupervised Hyperspectral Image Fusion

• arxiv url: http://arxiv.org/abs/2412.04802v1
• Date: Fri, 06 Dec 2024 06:22:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:55:26.790305
• Title: Modality Decoupling is All You Need: A Simple Solution for Unsupervised Hyperspectral Image Fusion
• Title（参考訳）: 非教師なしハイパースペクトル画像融合のための簡単な解法
• Authors: Songcheng Du, Yang Zou, Zixu Wang, Xingyuan Li, Ying Li, Qiang Shen,
• Abstract要約: ハイパースペクトル画像融合(HIF)は、低分解能ハイパースペクトル画像(LR-HSI)と高分解能マルチスペクトル画像(HR-MSI)を融合することを目的としている。 現在の方法は通常、2つのモダリティからの直接融合を有効な監督なしに適用する。 本研究では,HIF にモダリティデカップリングが不可欠であると仮定した,教師なし HIF に対する単純かつ効果的な解を提案する。
• 参考スコア（独自算出の注目度）: 12.622742399195209
• License:
• Abstract: Hyperspectral Image Fusion (HIF) aims to fuse low-resolution hyperspectral images (LR-HSIs) and high-resolution multispectral images (HR-MSIs) to reconstruct high spatial and high spectral resolution images. Current methods typically apply direct fusion from the two modalities without valid supervision, failing to fully perceive the deep modality-complementary information and hence, resulting in a superficial understanding of inter-modality connections. To bridge this gap, we propose a simple and effective solution for unsupervised HIF with an assumption that modality decoupling is essential for HIF. We introduce the modality clustering loss that ensures clear guidance of the modality, decoupling towards modality-shared features while steering clear of modality-complementary ones. Also, we propose an end-to-end Modality-Decoupled Spatial-Spectral Fusion (MossFuse) framework that decouples shared and complementary information across modalities and aggregates a concise representation of the LR-HSI and HR-MSI to reduce the modality redundancy. Systematic experiments over multiple datasets demonstrate that our simple and effective approach consistently outperforms the existing HIF methods while requiring considerably fewer parameters with reduced inference time.
• Abstract（参考訳）: 高分解能高分解能画像(LR-HSI)と高分解能高分解能マルチスペクトル画像(HR-MSI)を融合して高分解能・高分解能画像の再構成を目指す。 現在の方法では、2つのモダリティからの直接融合を有効な監督なしに適用し、深いモダリティ補完情報を十分に認識できず、結果として、モダリティ間の接続を表面的に理解する。 このギャップを埋めるために,HIF にモダリティデカップリングが不可欠であるという仮定を用いて,教師なし HIF の単純かつ効果的な解を提案する。 モダリティのクラスタリング損失は、モダリティの明確なガイダンス、モダリティの共有した特徴へのデカップリング、そしてモダリティの補完的な特徴をクリアにすることを保証する。 また,モースフューズ(MossFuse)フレームワークは,モダリティ間で共有情報と補完情報を分離し,LR-HSIとHR-MSIの簡潔な表現を集約し,モダリティの冗長性を低減する。 複数のデータセットに対するシステマティックな実験により、我々の単純で効果的なアプローチは既存のHIF手法を一貫して上回り、推論時間を短縮したパラメータをかなり少なくすることを示した。

関連論文リスト

• Learning Two-factor Representation for Magnetic Resonance Image Super-resolution [1.294284364022674]
  2要素表現に基づくMR画像超解像法を提案する。 具体的には、強度信号を学習可能な基底と係数の線形結合に分解する。 提案手法は最先端の性能を達成し,より優れた視覚的忠実度とロバスト性を実現する。
  論文  参考訳（メタデータ） (2024-09-15T13:32:24Z)
• A Hybrid Registration and Fusion Method for Hyperspectral Super-resolution [0.913509220304172]
  本稿ではRAF-NLRGSというハイブリッド登録・融合モデルを提案する。 RAFモデルは、残余データグループに埋め込まれた貴重な情報を活用するために、制約付きグループ空間を組み込む。 一般化ガウスニュートン(GGN)アルゴリズムと近似交互最適化(PAO)の枠組みも提示する。
  論文  参考訳（メタデータ） (2024-07-07T06:36:19Z)
• Physics-Inspired Degradation Models for Hyperspectral Image Fusion [61.743696362028246]
  ほとんどの融合法は、融合アルゴリズム自体にのみ焦点をあて、分解モデルを見落としている。 我々は、LR-HSIとHR-MSIの劣化をモデル化するための物理インスパイアされた劣化モデル(PIDM)を提案する。 提案したPIDMは,既存の核融合法における核融合性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-02-04T09:07:28Z)
• Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for Loss-free Multi-Exposure Image Fusion [60.221404321514086]
  マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。 本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
  論文  参考訳（メタデータ） (2023-09-03T08:07:26Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Compound Attention and Neighbor Matching Network for Multi-contrast MRI Super-resolution [7.197850827700436]
  MRIのマルチコントラスト超解像は、シングルイメージ超解像よりも優れた結果が得られる。 マルチコントラストMRI SRのための合成アテンションと近接マッチング(CANM-Net)を備えた新しいネットワークアーキテクチャを提案する。 CANM-Netは、ふりかえりと将来の実験において最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2023-07-05T09:44:02Z)
• Learning from Multi-Perception Features for Real-Word Image Super-resolution [87.71135803794519]
  入力画像の複数の知覚的特徴を利用する新しいSR手法MPF-Netを提案する。 本稿では,MPFEモジュールを組み込んで,多様な知覚情報を抽出する手法を提案する。 また、モデルの学習能力を向上する対照的な正規化項(CR)も導入する。
  論文  参考訳（メタデータ） (2023-05-26T07:35:49Z)
• Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
  本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。 IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。 スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
  論文  参考訳（メタデータ） (2023-03-29T07:02:20Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Multi-Scale Cascading Network with Compact Feature Learning for RGB-Infrared Person Re-Identification [35.55895776505113]
  マルチスケールパートアウェアカスケードフレームワーク(MSPAC)は、マルチスケールの細かい機能を部分からグローバルに集約することによって策定されます。 したがって、クロスモダリティ相関は、特徴的モダリティ不変な特徴学習のための顕著な特徴を効率的に探索することができる。
  論文  参考訳（メタデータ） (2020-12-12T15:39:11Z)
• Coupled Convolutional Neural Network with Adaptive Response Function Learning for Unsupervised Hyperspectral Super-Resolution [28.798775822331045]
  ハイパースペクトル超解像(Hyperspectral super- resolution)とは、高空間分解能と高スペクトル分解能の両方を持つ画像を生成するためにHSIとMSIを融合させることを指す。 本研究では,従来のPSFやSRF情報を使わずにHSI-MSI融合の問題を解く,教師なし深層学習に基づく融合法HyCoNetを提案する。
  論文  参考訳（メタデータ） (2020-07-28T06:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。