論文の概要: Toward Interpretable Multimodal Fusion: Heat Conduction Modeling for Hyperspectral and LiDAR Joint Classification
- arxiv url: http://arxiv.org/abs/2609.11040v1
- Date: Thu, 10 Sep 2026 03:38:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.205351
- Title: Toward Interpretable Multimodal Fusion: Heat Conduction Modeling for Hyperspectral and LiDAR Joint Classification
- Title（参考訳）: 解釈可能なマルチモーダル核融合に向けて:ハイパースペクトルとLiDARの関節分類のための熱伝導モデル
- Abstract要約: 本稿では、熱伝導のレンズを通して多モード融合を研究する物理に着想を得たフレームワークであるM2Heatを紹介する。
中心となる物理駆動型視覚熱伝導モジュール(vHeat)と拡張周波数値埋め込み(FVE)は異方性情報の流れをシミュレートする。
M2HeatはTrento、Houston 2013、Augsburgの3つのベンチマークで総合的なパフォーマンスを達成した。
- 参考スコア（独自算出の注目度）: 23.487676131409827
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The fusion of hyperspectral (HS) and Light Detection and Ranging (LiDAR) data plays a crucial role in enhancing land-cover classification by jointly exploiting spectral, spatial, and structural cues. However, existing multimodal fusion methods still struggle to model long-range dependencies and complex anisotropic interactions while maintaining computational efficiency. This paper introduces M2Heat, a physics-inspired framework that investigates multimodal fusion through the lens of heat conduction. At its core, a physics-driven visual heat conduction module (vHeat) and enhanced Frequency Value Embeddings (FVEs) simulate anisotropic information flow, enabling the capture of global dependencies with sub-quadratic complexity and physical interpretability. This mechanism, combined with a hybrid spatial-frequency fusion strategy named Cross-Frequency Fusion (CFF) module, produces highly discriminative and robust feature representations. M2Heat achieves competitive overall performance on three benchmarks, i.e., Trento, Houston2013, and Augsburg, while providing an interpretable heat-conduction-guided perspective for multimodal feature fusion. These results indicate the potential of heat-conduction-guided neural operators for efficient and interpretable RS multimodal fusion. The source code is publicly available at https: /github.com/Weikan0425/M2Heat_HSI_LiDAR.
- Abstract（参考訳）: 高スペクトル(HS)と光検出・照準データ(LiDAR)の融合は、スペクトル、空間、構造的手がかりを共同で活用することにより、土地被覆分類の強化に重要な役割を果たしている。
しかし、既存のマルチモーダル融合法は計算効率を保ちながら、長距離依存や複雑な異方性相互作用のモデル化に苦慮している。
本稿では、熱伝導のレンズを通して多モード融合を研究する物理に着想を得たフレームワークであるM2Heatを紹介する。
物理駆動型視覚熱伝導モジュール(vHeat)と拡張周波数値埋め込み(FVE)は、異方性情報フローをシミュレートし、サブクアドラティックな複雑さと物理的解釈可能性を備えたグローバルな依存関係のキャプチャを可能にする。
このメカニズムは、クロス周波数融合(CFF)モジュールと呼ばれるハイブリッド空間周波数融合戦略と組み合わさって、高度に差別的で堅牢な特徴表現を生成する。
M2Heatは、Trento、Houston 2013、Augsburgの3つのベンチマークで総合的なパフォーマンスを実現し、マルチモーダルな特徴融合に対する解釈可能な熱伝導誘導の視点を提供する。
これらの結果は, 熱伝導誘導型ニューラル演算子の高効率かつ解釈可能なRS多モード核融合への応用の可能性を示している。
ソースコードはhttps:/github.com/Weikan0425/M2Heat_HSI_LiDARで公開されている。
関連論文リスト
- P2Fusion: Prompt-based Progressive Infrared-Visible Image Fusion via Dual-Prior Distillation [73.147281449267]
我々は、赤外線可視画像融合を再構成する事前誘導蒸留に基づくフレームワークであるP2Fusionを提案する。
ハードコードされたペナルティを課す代わりに、画像固有の先例、熱塩分率、空間的品質を学習可能な動的レギュレータに蒸留する。
P2Fusionは5つのベンチマークで20の主要評価指標のうち14で最先端の結果を達成する。
論文 参考訳（メタデータ） (2026-08-13T10:09:49Z) - Interactive Spatial-Frequency Fusion Mamba for Multi-Modal Image Fusion [69.13852939945433]
MMIF(Multi-Modal Image Fusion)は、異なるモダリティの画像を組み合わせて融合画像を作成することを目的としている。
MMIFのための対話型空間周波数フュージョン・マンバフレームワークを提案する。
私たちのISFMは、他の最先端手法よりも優れたパフォーマンスを実現できます。
論文 参考訳（メタデータ） (2026-02-04T10:35:55Z) - DIFF-MF: A Difference-Driven Channel-Spatial State Space Model for Multi-Modal Image Fusion [51.07069814578009]
マルチモーダル画像融合は、複数のソース画像から補完的な情報を統合して、リッチなコンテンツで高品質な融合画像を生成することを目的としている。
マルチモーダル画像融合のための差動駆動型チャネル空間空間モデルDIFF-MFを提案する。
本手法は,視覚的品質と定量的評価の両方において,既存の手法よりも優れている。
論文 参考訳（メタデータ） (2026-01-09T05:26:54Z) - Enhancing Medical Image Segmentation via Heat Conduction Equation [0.7045830787944977]
熱伝導方程式を用いたU-Mambaを用いたハイブリッドアーキテクチャを提案する。
マルチモーダル腹部CTおよびMRIデータセットによる実験結果から,提案モデルが強いベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2025-11-05T07:44:27Z) - PIF-Net: Ill-Posed Prior Guided Multispectral and Hyperspectral Image Fusion via Invertible Mamba and Fusion-Aware LoRA [0.16385815610837165]
マルチスペクトル・ハイパースペクトル画像融合(MHIF)の目的は、豊富なスペクトル情報と細かな空間的詳細を同時に持つ高品質な画像を生成することである。
これまでの研究では、データ修正が原因で生じる不適切な性質を効果的に扱っていなかった。
PIF-Net という名前の融合フレームワークを提案し,多重スペクトル画像とハイパースペクトル画像とを効果的に融合させる。
論文 参考訳（メタデータ） (2025-08-01T09:17:17Z) - Gated Recursive Fusion: A Stateful Approach to Scalable Multimodal Transformers [0.0]
Gated Recurrent Fusion(GRF)は、線形にスケーラブルで再帰的なパイプライン内で、モーダル間注目のパワーをキャプチャする新しいアーキテクチャである。
我々の研究は、強力でスケーラブルなマルチモーダル表現学習のための堅牢で効率的なパラダイムを提示している。
論文 参考訳（メタデータ） (2025-07-01T09:33:38Z) - Divide-and-Conquer: Confluent Triple-Flow Network for RGB-T Salient Object Detection [70.84835546732738]
RGB-Thermal Salient Object Detectionは、目視と熱赤外画像のペア内の目立つ物体をピンポイントすることを目的としている。
従来のエンコーダ・デコーダアーキテクチャは、欠陥モードから生じるノイズに対する頑健さを十分に考慮していなかったかもしれない。
本稿では,Divide-and-Conquer戦略を用いた,堅牢なConfluent Triple-Flow NetworkであるConTriNetを提案する。
論文 参考訳（メタデータ） (2024-12-02T14:44:39Z) - Deep Equilibrium Multimodal Fusion [88.04713412107947]
多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。
本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。
BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
論文 参考訳（メタデータ） (2023-06-29T03:02:20Z) - Multimodal Hyperspectral Image Classification via Interconnected Fusion [12.41850641917384]
The Interconnect Fusion (IF) framework is proposed to explore the relationship across HSI and LiDAR modalities comprehensively。
トレント、MUUFL、ヒューストンの3つの広く使われているデータセットで実験が行われた。
論文 参考訳（メタデータ） (2023-04-02T09:46:13Z) - CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion [138.40422469153145]
本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。
近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-11-26T02:40:28Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳（メタデータ） (2021-07-28T23:33:42Z) - Two Headed Dragons: Multimodal Fusion and Cross Modal Transactions [14.700807572189412]
本稿では,HSIとLiDARの新たな融合法を提案する。
このモデルは、HSIとLiDARのクロスキー値ペアを利用するスタックされたオートエンコーダで構成されている。
我々はヒューストン(データフュージョン・コンテスト - 2013)とMUUFLガルフポートのデータセットで実験を行い、競争力のある結果を得た。
論文 参考訳（メタデータ） (2021-07-24T11:33:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。