論文の概要: A Spatial-Spectral-Frequency Interactive Network for Multimodal Remote Sensing Classification
- arxiv url: http://arxiv.org/abs/2510.04628v1
- Date: Mon, 06 Oct 2025 09:33:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:59.780357
- Title: A Spatial-Spectral-Frequency Interactive Network for Multimodal Remote Sensing Classification
- Title(参考訳): マルチモーダルリモートセンシング分類のための空間スペクトル周波数対話ネットワーク
- Authors: Hao Liu, Yunhao Gao, Wei Li, Mingyang Zhang, Maoguo Gong, Lorenzo Bruzzone,
- Abstract要約: 本稿では,空間,スペクトル,周波数領域にまたがる相互融合モジュールを統合した空間-スペクトル-周波数相互作用ネットワーク(S$2$Fin)を提案する。
ラベル付きデータに制限のある4つのベンチマークマルチモーダルデータセットの実験は、S$2$Finが優れた分類を行い、最先端の手法より優れていることを示した。
- 参考スコア(独自算出の注目度): 45.80836671298513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning-based methods have achieved significant success in remote sensing Earth observation data analysis. Numerous feature fusion techniques address multimodal remote sensing image classification by integrating global and local features. However, these techniques often struggle to extract structural and detail features from heterogeneous and redundant multimodal images. With the goal of introducing frequency domain learning to model key and sparse detail features, this paper introduces the spatial-spectral-frequency interaction network (S$^2$Fin), which integrates pairwise fusion modules across the spatial, spectral, and frequency domains. Specifically, we propose a high-frequency sparse enhancement transformer that employs sparse spatial-spectral attention to optimize the parameters of the high-frequency filter. Subsequently, a two-level spatial-frequency fusion strategy is introduced, comprising an adaptive frequency channel module that fuses low-frequency structures with enhanced high-frequency details, and a high-frequency resonance mask that emphasizes sharp edges via phase similarity. In addition, a spatial-spectral attention fusion module further enhances feature extraction at intermediate layers of the network. Experiments on four benchmark multimodal datasets with limited labeled data demonstrate that S$^2$Fin performs superior classification, outperforming state-of-the-art methods. The code is available at https://github.com/HaoLiu-XDU/SSFin.
- Abstract(参考訳): 深層学習に基づく手法は、リモートセンシング地球観測データ解析において大きな成功を収めた。
グローバルな特徴と局所的な特徴を統合することで、多モードリモートセンシング画像分類に多くの特徴融合技術が取り組む。
しかし、これらの手法は、不均一で冗長なマルチモーダル画像から構造的・詳細的な特徴を抽出するのにしばしば苦労する。
そこで本研究では,空間,スペクトル,周波数領域にまたがる相互融合モジュールを統合した空間-スペクトル-周波数相互作用ネットワーク(S$^2$Fin)を提案する。
具体的には,高周波フィルタのパラメータを最適化するために,スパース空間スペクトルを用いた高周波スパース拡張変換器を提案する。
その後、低周波構造と高周波細部を融合する適応周波数チャネルモジュールと、位相類似性により鋭いエッジを強調する高周波共鳴マスクとからなる2段階の空間周波数融合戦略を導入する。
さらに、空間スペクトル注意融合モジュールは、ネットワークの中間層における特徴抽出をさらに強化する。
ラベル付きデータに制限のある4つのベンチマークマルチモーダルデータセットの実験は、S$^2$Finが優れた分類を行い、最先端の手法より優れていることを示した。
コードはhttps://github.com/HaoLiu-XDU/SSFinで入手できる。
関連論文リスト
- A Cross-Hierarchical Multi-Feature Fusion Network Based on Multiscale Encoder-Decoder for Hyperspectral Change Detection [3.5421087596321352]
本稿では,マルチスケールエンコーダデコーダアーキテクチャに基づく階層型多機能核融合ネットワーク(CHMFFN)を提案する。
4つの公開ハイパースペクトルデータセットの実験では、CHMFFNは最先端の手法よりも優れており、その有効性を検証する。
論文 参考訳(メタデータ) (2025-09-21T09:04:28Z) - Wavelet-Guided Dual-Frequency Encoding for Remote Sensing Change Detection [67.84730634802204]
リモートセンシング画像の変化検出は,自然災害監視,都市拡張追跡,インフラ管理など,さまざまな工学的応用において重要な役割を担っている。
既存のほとんどの手法は空間領域モデリングに依存しており、特徴表現の限られた多様性は微妙な変化領域の検出を妨げる。
本研究では、特にウェーブレット領域における周波数領域の特徴モデリングが周波数成分の微細な違いを増幅し、空間領域において捉えにくいエッジ変化の知覚を高めることを観察する。
論文 参考訳(メタデータ) (2025-08-07T11:14:16Z) - FADPNet: Frequency-Aware Dual-Path Network for Face Super-Resolution [70.61549422952193]
計算コストの制限による顔超解像(FSR)は未解決の問題である。
既存のアプローチでは、全ての顔のピクセルを等しく扱い、計算資源を最適以下に割り当てる。
本稿では、低周波成分と高周波成分に顔の特徴を分解する周波数対応デュアルパスネットワークであるFADPNetを提案する。
論文 参考訳(メタデータ) (2025-06-17T02:33:42Z) - Towards Generalizable Deepfake Detection with Spatial-Frequency Collaborative Learning and Hierarchical Cross-Modal Fusion [3.9408262382784236]
本稿では,マルチスケール空間周波数解析を統合した新しいフレームワークを提案する。
本手法は精度と一般化性の両方で最先端のディープフェイク検出法より優れる。
論文 参考訳(メタデータ) (2025-04-24T03:23:35Z) - Hierarchical Attention and Parallel Filter Fusion Network for Multi-Source Data Classification [33.26466989592473]
マルチソースデータ分類のための階層的注意と並列フィルタ融合ネットワークを提案する。
提案手法は,各データセットの総合精度(OA)の91.44%と80.51%を達成する。
論文 参考訳(メタデータ) (2024-08-22T23:14:22Z) - Multiple Contexts and Frequencies Aggregation Network forDeepfake Detection [5.65128683992597]
ディープフェイク検出は、大量で多様なディープフェイク技術の開発において、生成モデルの急速な成長以来、課題に直面している。
近年の進歩は、バックボーン内の一般的な偽造特徴をモデル化するのではなく、空間領域や周波数領域からの特徴の導入に依存している。
2つのコアモジュールからなるMkfaNetという顔偽造検出のための効率的なネットワークを提案する。
論文 参考訳(メタデータ) (2024-08-03T05:34:53Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳(メタデータ) (2024-03-12T01:28:00Z) - Frequency Perception Network for Camouflaged Object Detection [51.26386921922031]
周波数領域のセマンティック階層によって駆動される新しい学習可能かつ分離可能な周波数知覚機構を提案する。
ネットワーク全体では、周波数誘導粗い局所化ステージと細部保存の微細局在化ステージを含む2段階モデルを採用している。
提案手法は,既存のモデルと比較して,3つのベンチマークデータセットにおいて競合性能を実現する。
論文 参考訳(メタデータ) (2023-08-17T11:30:46Z) - Multi-Scale Wavelet Transformer for Face Forgery Detection [43.33712402517951]
顔偽造検出のためのマルチスケールウェーブレットトランスフォーマフレームワークを提案する。
周波数に基づく空間的注意は、空間的特徴抽出器をフォージェリトレースに集中させるよう誘導するように設計されている。
空間的特徴と周波数特徴を融合させるため,モーダリティ間の注意が提案されている。
論文 参考訳(メタデータ) (2022-10-08T03:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。