論文の概要: EGM-Det: Entropy-Guided Multimodal Adaptive Fusion for UAV RGB-IR Object Detection

• arxiv url: http://arxiv.org/abs/2608.11685v1
• Date: Wed, 12 Aug 2026 05:51:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.47633
• Title: EGM-Det: Entropy-Guided Multimodal Adaptive Fusion for UAV RGB-IR Object Detection
• Title（参考訳）: EGM-Det:UAV RGB-IRオブジェクト検出のためのエントロピー誘導多モード適応核融合
• Abstract要約: RGB-IRオブジェクト検出のためのエントロピー誘導型適応核融合フレームワークであるEGM-Detを提案する。 EGM-Detは、モダリティ固有の表現を保存するためにデュアルストリームアーキテクチャを使用している。 不均一な特徴を均一に組み合わせる代わりに、信頼できるRGBと赤外線のキューを選択的に集約する。
• 参考スコア（独自算出の注目度）: 11.826446098340048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Joint use of RGB and infrared (IR) imagery can improve UAV-view object detection, but most existing methods fuse multimodal features with static or fixed weights and therefore overlook spatially varying modality reliability. We propose EGM-Det, an entropy-guided multimodal adaptive fusion framework for RGB-IR object detection. EGM-Det employs a dual-stream architecture to preserve modality-specific representations and introduces an Entropy Offset Gate Fusion module for adaptive multi-scale fusion. The module derives shallow entropy priors from input intensity, local entropy, and cross-modal discrepancy, and uses them to guide local offset alignment and spatial-channel gated fusion. It therefore selectively aggregates reliable RGB and infrared cues instead of uniformly combining heterogeneous features. We further introduce cross-modal distillation to regularize the learned fusion gates and reduce fusion degradation. Each student branch extracts complementary knowledge from the cross-modality teacher branch matched to the main branch, while entropy-adaptive supervision emphasizes uncertain modality decisions. Experiments on DroneVehicle, LLVIP, and VEDAI demonstrate state-of-the-art performance across all three benchmarks; in particular, EGM-Det outperforms prior approaches by more than 10 percentage points on VEDAI.
• Abstract（参考訳）: RGBと赤外線(IR)画像の併用は、UAVビューオブジェクトの検出を改善することができるが、既存のほとんどの手法は、静的または固定的な重み付けでマルチモーダル特徴を融合させるため、空間的に異なるモダリティの信頼性を見落としている。 RGB-IRオブジェクト検出のためのエントロピー誘導多モード適応融合フレームワークであるEGM-Detを提案する。 EGM-Detは、モダリティ固有の表現を維持するためにデュアルストリームアーキテクチャを採用し、適応的なマルチスケール核融合のためのエントロピーオフセットゲート融合モジュールを導入した。 このモジュールは入力強度、局所エントロピー、異方性から浅いエントロピーを導出し、局所オフセットアライメントと空間チャネルゲート融合を誘導する。 したがって、不均一な特徴を均一に組み合わせる代わりに、信頼できるRGBと赤外線のキューを選択的に集約する。 さらに, 得られた核融合ゲートを規則化し, 核融合劣化を低減するために, クロスモーダル蒸留を導入する。 各学生分科は、相互モダリティの教師分科から補完的な知識を主分科と一致させ、エントロピー適応的な指導は不確実なモダリティの決定を強調する。 DroneVehicle、LLVIP、VEDAIの実験では、3つのベンチマークすべてで最先端のパフォーマンスが実証されている。

関連論文リスト

• P2Fusion: Prompt-based Progressive Infrared-Visible Image Fusion via Dual-Prior Distillation [73.147281449267]
  我々は、赤外線可視画像融合を再構成する事前誘導蒸留に基づくフレームワークであるP2Fusionを提案する。 ハードコードされたペナルティを課す代わりに、画像固有の先例、熱塩分率、空間的品質を学習可能な動的レギュレータに蒸留する。 P2Fusionは5つのベンチマークで20の主要評価指標のうち14で最先端の結果を達成する。
  論文  参考訳（メタデータ） (2026-08-13T10:09:49Z)
• Bridging Severe Cross-Modal Misalignment: End-to-End Visible-Infrared Object Detection via Explicit Feature-Domain Affine Registration [17.74037850404483]
  そこで本研究では,極端から端へ可視光を指向する物体検出器を提案する。 提案されたJFRDetは、DroneVehicle Misaligned (DVMA)上で69.7%$mathrmmAP_50$を達成する。
  論文  参考訳（メタデータ） (2026-08-11T09:02:37Z)
• Frequency-Guided Fusion For RGB-Thermal Semantic Segmentation [0.6187780920448871]
  本稿では,2つのConvNeXt V2バックボーン上に構築されたマルチモーダル核融合アーキテクチャを提案する。 MFNetとPST900の実験では、我々の最も軽い変種はそれぞれ61.73%、86.24% mIoUであり、35.43Mのパラメータしか得られていない。
  論文  参考訳（メタデータ） (2026-05-25T18:57:22Z)
• Tri-Modal Fusion Transformers for UAV-based Object Detection [1.338174941551702]
  本稿では、RGB、サーマル、イベントデータをデュアルストリーム階層型視覚変換器で処理するトリオモーダル・フレームワークを提案する。 10,489フレームのUAVデータセットを導入し,RGB-熱対流と24,223の注釈付き車両を同期・調整した。
  論文  参考訳（メタデータ） (2026-04-17T18:35:06Z)
• RSONet: Region-guided Selective Optimization Network for RGB-T Salient Object Detection [76.1829298714382]
  本稿では,RGB画像と熱画像の相違点に着目した。 RGB-T有向物体検出のための領域誘導選択最適化ネットワークを提案する。 我々は,RGB-Tデータセットに関する広範な実験を行い,提案したRSONetが27種類の最先端SOD手法と競合する性能を発揮することを示した。
  論文  参考訳（メタデータ） (2026-03-13T06:01:17Z)
• HyPSAM: Hybrid Prompt-driven Segment Anything Model for RGB-Thermal Salient Object Detection [75.406055413928]
  RGB-T SODのための新しいプロンプト駆動セグメントモデル(HyPSAM)を提案する。 DFNetは動的畳み込みとマルチブランチデコーディングを使用して、適応的な相互モダリティ相互作用を促進する。 3つの公開データセットの実験により,本手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-09-23T07:32:11Z)
• Multispectral Detection Transformer with Infrared-Centric Feature Fusion [8.762314897895175]
  Infrared-Centric Fusion (IC-Fusion) は、軽量でモダリティに配慮したセンサー融合法である。 IC-Fusionは、補完的なRGBセマンティックコンテキストを効果的に統合しながら、赤外線機能を優先する。 FLIRおよびLLVIPベンチマークの実験は、我々のIR中心核融合戦略の有効性と効率性を実証している。
  論文  参考訳（メタデータ） (2025-05-21T05:44:14Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection [67.33924278729903]
  本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。 視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。 5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:35:41Z)
• Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
  RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。 コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。 提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2021-12-01T15:53:58Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• RGB-D Salient Object Detection with Cross-Modality Modulation and Selection [126.4462739820643]
  本稿では, RGB-D Salient Object Detection (SOD) において, モジュール間相補性を段階的に統合し, 改良する有効な方法を提案する。 提案するネットワークは,1)RGB画像とそれに対応する深度マップからの補完情報を効果的に統合する方法,および2)より精度の高い特徴を適応的に選択する方法の2つの課題を主に解決する。
  論文  参考訳（メタデータ） (2020-07-14T14:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。