論文の概要: SFFR: Spatial-Frequency Feature Reconstruction for Multispectral Aerial Object Detection
- arxiv url: http://arxiv.org/abs/2511.06298v3
- Date: Mon, 17 Nov 2025 01:08:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:22.000301
- Title: SFFR: Spatial-Frequency Feature Reconstruction for Multispectral Aerial Object Detection
- Title(参考訳): SFFR:マルチスペクトル空中物体検出のための空間周波数特徴再構成
- Authors: Xin Zuo, Chenyu Qu, Haibo Zhan, Jifeng Shen, Wankou Yang,
- Abstract要約: 本研究では,新しい空間周波数特徴再構成法 (SFFR) を提案する。
特徴融合の前に空間領域と周波数領域の相補表現を再構成する。
提案するFCEKANモジュールとMSGKANモジュールは相補的であり,それぞれの周波数と空間的意味的特徴を効果的に捉えることができることを示す。
- 参考スコア(独自算出の注目度): 12.521255528136278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent multispectral object detection methods have primarily focused on spatial-domain feature fusion based on CNNs or Transformers, while the potential of frequency-domain feature remains underexplored. In this work, we propose a novel Spatial and Frequency Feature Reconstruction method (SFFR) method, which leverages the spatial-frequency feature representation mechanisms of the Kolmogorov-Arnold Network (KAN) to reconstruct complementary representations in both spatial and frequency domains prior to feature fusion. The core components of SFFR are the proposed Frequency Component Exchange KAN (FCEKAN) module and Multi-Scale Gaussian KAN (MSGKAN) module. The FCEKAN introduces an innovative selective frequency component exchange strategy that effectively enhances the complementarity and consistency of cross-modal features based on the frequency feature of RGB and IR images. The MSGKAN module demonstrates excellent nonlinear feature modeling capability in the spatial domain. By leveraging multi-scale Gaussian basis functions, it effectively captures the feature variations caused by scale changes at different UAV flight altitudes, significantly enhancing the model's adaptability and robustness to scale variations. It is experimentally validated that our proposed FCEKAN and MSGKAN modules are complementary and can effectively capture the frequency and spatial semantic features respectively for better feature fusion. Extensive experiments on the SeaDroneSee, DroneVehicle and DVTOD datasets demonstrate the superior performance and significant advantages of the proposed method in UAV multispectral object perception task. Code will be available at https://github.com/qchenyu1027/SFFR.
- Abstract(参考訳): 近年の多スペクトル物体検出法は、主にCNNやトランスフォーマーに基づく空間領域特徴融合に重点を置いているが、周波数領域特徴のポテンシャルは未解明のままである。
本研究では,KAN(Kolmogorov-Arnold Network)の空間周波数特徴表現機構を利用して,特徴融合前の空間領域と周波数領域の相補表現を再構成する新しい空間周波数特徴再構成法を提案する。
SFFRのコアコンポーネントは、提案されている周波数成分交換(FCEKAN)モジュールとマルチスケールガウスカン(MSGKAN)モジュールである。
FCEKANは、RGBおよびIR画像の周波数特性に基づいて、クロスモーダル特徴の相補性と一貫性を効果的に向上する、革新的な選択周波数成分交換戦略を導入している。
MSGKANモジュールは空間領域における優れた非線形特徴モデリング機能を示す。
マルチスケールのガウス基底関数を利用することで、異なるUAV飛行高度でのスケール変化に起因する特徴変化を効果的に捉え、モデルの適応性とロバスト性を大きく向上させ、バリエーションを拡大する。
提案するFCEKANモジュールとMSGKANモジュールは相補的であり, 周波数と空間のセマンティックな特徴をそれぞれ効果的に捉え, より優れた特徴融合が可能であることを実験的に検証した。
SeaDroneSee、DroneVehicle、DVTODデータセットの大規模な実験は、UAVマルチスペクトル物体認識タスクにおいて提案手法の優れた性能と大きな利点を示している。
コードはhttps://github.com/qchenyu1027/SFFRで入手できる。
関連論文リスト
- A Spatial-Spectral-Frequency Interactive Network for Multimodal Remote Sensing Classification [45.80836671298513]
本稿では,空間,スペクトル,周波数領域にまたがる相互融合モジュールを統合した空間-スペクトル-周波数相互作用ネットワーク(S$2$Fin)を提案する。
ラベル付きデータに制限のある4つのベンチマークマルチモーダルデータセットの実験は、S$2$Finが優れた分類を行い、最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2025-10-06T09:33:35Z) - A Cross-Hierarchical Multi-Feature Fusion Network Based on Multiscale Encoder-Decoder for Hyperspectral Change Detection [3.5421087596321352]
本稿では,マルチスケールエンコーダデコーダアーキテクチャに基づく階層型多機能核融合ネットワーク(CHMFFN)を提案する。
4つの公開ハイパースペクトルデータセットの実験では、CHMFFNは最先端の手法よりも優れており、その有効性を検証する。
論文 参考訳(メタデータ) (2025-09-21T09:04:28Z) - Wavelet-Guided Dual-Frequency Encoding for Remote Sensing Change Detection [67.84730634802204]
リモートセンシング画像の変化検出は,自然災害監視,都市拡張追跡,インフラ管理など,さまざまな工学的応用において重要な役割を担っている。
既存のほとんどの手法は空間領域モデリングに依存しており、特徴表現の限られた多様性は微妙な変化領域の検出を妨げる。
本研究では、特にウェーブレット領域における周波数領域の特徴モデリングが周波数成分の微細な違いを増幅し、空間領域において捉えにくいエッジ変化の知覚を高めることを観察する。
論文 参考訳(メタデータ) (2025-08-07T11:14:16Z) - FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
本稿では,潜時拡散モデルにおける周波数制御について検討する。
本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。
FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
論文 参考訳(メタデータ) (2025-04-02T22:03:11Z) - Frequency Domain Enhanced U-Net for Low-Frequency Information-Rich Image Segmentation in Surgical and Deep-Sea Exploration Robots [34.28684917337352]
CNNと人間の視覚系における周波数帯域感度の差について検討する。
本稿では、生体視覚機構にインスパイアされたウェーブレット適応スペクトル融合(WASF)法を提案する。
我々は SAM2 のバックボーンネットワークを利用する FE-UNet モデルを開発し, セグメンテーション精度を確保するために細調整した Hiera-Large モジュールを組み込んだ。
論文 参考訳(メタデータ) (2025-02-06T07:24:34Z) - Accelerated Multi-Contrast MRI Reconstruction via Frequency and Spatial Mutual Learning [50.74383395813782]
本稿では,周波数・空間相互学習ネットワーク(FSMNet)を提案する。
提案したFSMNetは, 加速度係数の異なるマルチコントラストMR再構成タスクに対して, 最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-09-21T12:02:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。