論文の概要: RoES: Rotational Equivariant Selective-frequency Fusion for Multimodal Images

• arxiv url: http://arxiv.org/abs/2609.12497v1
• Date: Fri, 11 Sep 2026 06:59:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.646185
• Title: RoES: Rotational Equivariant Selective-frequency Fusion for Multimodal Images
• Title（参考訳）: RoES:マルチモーダル画像のための回転同変選択周波数核融合
• Abstract要約: 赤外線可視画像融合は、可視光センサから相補的なテクスチャニュアンスと、赤外線系の熱信号を統合することで、堅牢なマルチモーダル知覚を促進する。 回転同変Selective- frequency fusion NetworkであるRoESを提案する。 融合品質と下流オブジェクト検出の両面で,RoESは一貫して最先端性能を実現していることを示す。
• 参考スコア（独自算出の注目度）: 12.816585131696549
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Infrared-visible image fusion facilitates robust multimodal perception by integrating complementary textural nuances from visible sensors with thermal signatures from infrared systems. Due to the task's inherently ill-posed nature, existing methods heavily rely on structural priors but typically enforce rotation equivariance uniformly across all features. Such a holistic approach overlooks a critical distinction where low-frequency shared structures strictly adhere to equivariant constraints while high-frequency modality-specific details require greater flexibility to preserve unique information. To bridge this gap, we propose RoES, a Rotational Equivariant Selective-frequency fusion network. Instead of employing static decomposition, we introduce a trainable rotation-enhanced updater/predictor module to dynamically decouple low- and high-frequency components. The resulting representations are then processed through a dual-branch fusion module tailored for spectral consistency. Specifically, a rotation-equivariant Mamba is employed to capture long-range structural dependencies in the low-frequency domain, while a polar spectral attention-based Dual-Fourier block refines high-frequency details under explicit low-frequency guidance. Extensive experiments demonstrate that RoES consistently achieves state-of-the-art performance in both fusion quality and downstream object detection, establishing a robust solution for multimodal fusion by reconciling frequency-selective features with equivariant constraints. The source code is available at https://github.com/BryceLosky/RoES-Fusion.
• Abstract（参考訳）: 赤外線可視画像融合は、可視光センサから相補的なテクスチャニュアンスと、赤外線系の熱信号を統合することで、堅牢なマルチモーダル知覚を促進する。 タスクの本質的に不適切な性質のため、既存の手法は構造的先行に大きく依存するが、典型的にはすべての特徴に対して一様に回転同値を強制する。 このような包括的アプローチは、低周波共有構造が同変制約に厳密に準拠する一方で、高周波モダリティ固有の詳細は、一意的な情報を保持するためにより大きな柔軟性を必要とするという批判的な区別を見落としている。 このギャップを埋めるために、回転同変Selective- frequency fusion networkであるRoESを提案する。 静的分解ではなく,低周波成分と高周波成分を動的に分離するために,トレーニング可能な回転強調更新器/予測器モジュールを導入する。 結果の表現は、スペクトル整合性のために調整されたデュアルブランチ融合モジュールを通して処理される。 具体的には、回転同変のMambaを用いて、低周波領域における長距離構造依存を捕捉し、極スペクトルの注意に基づくDual-Fourierブロックは、明らかに低周波誘導の下で高周波の詳細を洗練する。 広汎な実験により、RoESは、融合品質と下流オブジェクト検出の両方において、常に最先端の性能を達成し、同変制約で周波数選択的特徴を整合させることにより、マルチモーダル融合のための堅牢な解を確立した。 ソースコードはhttps://github.com/BryceLosky/RoES-Fusion.comで入手できる。

関連論文リスト

• Frequency-Guided Fusion For RGB-Thermal Semantic Segmentation [0.6187780920448871]
  本稿では,2つのConvNeXt V2バックボーン上に構築されたマルチモーダル核融合アーキテクチャを提案する。 MFNetとPST900の実験では、我々の最も軽い変種はそれぞれ61.73%、86.24% mIoUであり、35.43Mのパラメータしか得られていない。
  論文  参考訳（メタデータ） (2026-05-25T18:57:22Z)
• WD-FQDet: Multispectral Detection Transformer via Wavelet Decomposition and Frequency-aware Query Learning [20.245276698663115]
  そこで本研究では,赤外線と可視光からのモダリティ共有情報とモダリティ固有情報を明確に分離する新しい検出フレームワークを提案する。 FLIR、LLVIP、M3FDデータセットの実験結果から、WD-FQDetは複数の評価指標で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2026-05-13T14:51:05Z)
• SKANet: A Cognitive Dual-Stream Framework with Adaptive Modality Fusion for Robust Compound GNSS Interference Classification [47.20483076887704]
  グローバルナビゲーション衛星システム(GNSS)は、洗練された妨害による脅威の増大に直面している。 時間周波数画像(TFI)とパワースペクトル密度(PSD)を統合した2重ストリームアーキテクチャに基づく認知的ディープラーニングフレームワークを提案する。 SKANetは96.99%の精度を達成し、複合妨害分類において優れたロバスト性を示した。
  論文  参考訳（メタデータ） (2026-01-19T07:42:45Z)
• PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs [57.790910044227935]
  ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。 本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。 解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
  論文  参考訳（メタデータ） (2025-11-14T05:56:47Z)
• FreDFT: Frequency Domain Fusion Transformer for Visible-Infrared Object Detection [32.27664742588076]
  可視赤外物体検出のための周波数領域融合変換器FreDFTを提案する。 提案手法は、変調と周波数フィードフォワード層の間の相補的な情報をマイニングするために、新しいマルチモーダル周波数アテンション(MFDA)を用いる。 提案するFreDFTは,他の最先端手法と比較して,複数の公開データセット上で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2025-11-13T07:46:18Z)
• PAD: Phase-Amplitude Decoupling Fusion for Multi-Modal Land Cover Classification [49.37555541088792]
  位相振幅デカップリング(PAD)は、位相(モダリティ共有)と振幅(モダリティ補完)を分離する周波数対応のフレームワークである。 この研究は、リモートセンシングにおける物理を意識したマルチモーダル融合の新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-04-27T07:21:42Z)
• FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [92.4205087439928]
  画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。 自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。 PSTは、画像基盤モデルとの遅延空間アライメントによるクロスモーダルな知識伝達を確立し、データ不足を効果的に軽減する。 FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。 この組み合わせのアプローチにより、FUSEはターゲットデータセットに対する軽量デコーダ適応のみを必要とするユニバーサルなイメージイベントを構築することができる。
  論文  参考訳（メタデータ） (2025-03-25T15:04:53Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
  RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。 コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。 提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2021-12-01T15:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。