論文の概要: Deep Multimodal Fusion Detection through Spatial Mask and Channel Fusion
- arxiv url: http://arxiv.org/abs/2608.02092v1
- Date: Mon, 03 Aug 2026 11:51:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.516853
- Title: Deep Multimodal Fusion Detection through Spatial Mask and Channel Fusion
- Title（参考訳）: 空間マスクとチャネル融合による深層マルチモーダル核融合検出
- Abstract要約: 本稿では,モダリティオブジェクト検出の堅牢性向上を目的とした,注意駆動補足型リサンプリングフレームワークを提案する。
共有チャネル空間的注意機構に基づいて,まずセマンティックマスク交換を導入し,モダリティの境界を積極的に混合する。
そこで我々は,チャネルワイドで学習可能な方法で特徴をサンプリングし,集約するための学習可能なチャネルコンペティションを提案する。
- 参考スコア（独自算出の注目度）: 4.909774323398836
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep multimodal fusion for object detection has demonstrated good performance through mining modal characteristics. However, existing feature-level fusion methods mainly weigh between two modalities and unify them in a unified representation space. This can lead to overfitting or over-specialization of the statistical properties of a single modality within a dual-backbone architecture. This paper proposes an Attention-Driven Complementarity Resampling framework for robust improvement of cross-modality object detection. Based on a shared channel spatial attention mechanism, we first introduce the semantic mask exchange to actively mix the boundaries of the modalities during the training phase, forcing the backbone network to learn generalized features without relying on fixed modal labels. Then we propose a learnable channel competition to sample and aggregate features in a channel-wise and learnable way. Our experiments on multiple datasets demonstrate that the proposed method is effective and yields competitive results among existing state-of-the-art approaches. The source code is provided in the supplementary material.
- Abstract（参考訳）: 物体検出のための深層マルチモーダル融合は, マイニングモーダル特性により良好な性能を示した。
しかし、既存の特徴レベル融合法は主に2つのモード間で重み付けされ、それらを統一表現空間に統一する。
これは、双対バックボーンアーキテクチャ内の単一のモダリティの統計的性質の過度な適合または過剰な特殊化につながる可能性がある。
本稿では,モダリティオブジェクト検出の堅牢性向上のためのアテンション駆動補足リサンプリングフレームワークを提案する。
共有チャネル空間的注意機構に基づいて,まず,トレーニング期間中のモダリティの境界を積極的に混合するセマンティックマスク交換を導入し,固定されたモダリティラベルに頼ることなく,バックボーンネットワークに一般化された特徴の学習を強制する。
そこで我々は,チャネルワイドで学習可能な方法で特徴をサンプリングし,集約するための学習可能なチャネルコンペティションを提案する。
複数のデータセットに対する実験により,提案手法が有効であることが示され,既存の最先端手法と競合する結果が得られた。
ソースコードは補足材料に提供される。
関連論文リスト
- DMFNet: Dual-Backbone Multiscale Fusion Network for Urban Scene Classification [1.529342790344802]
DMFNetは、リモートセンシングシーン分類のための残像伝搬と空間的注意を有するデュアルバックボーンマルチスケール機能融合フレームワークである。
ベンチマークAIDデータセットで行われた実験は、DMFNetが平均精度97.46%$pm$0.14%に達することを示した。
論文 参考訳（メタデータ） (2026-07-16T10:31:32Z) - Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。
従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。
我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
論文 参考訳（メタデータ） (2026-03-07T03:58:48Z) - MM-DETR: An Efficient Multimodal Detection Transformer with Mamba-Driven Dual-Granularity Fusion and Frequency-Aware Modality Adapters [12.063966356953186]
マルチモーダルリモートセンシングオブジェクト検出は、困難条件下でより正確で堅牢な認識を実現することを目的としている。
注意に基づく、あるいは変形可能な畳み込み融合ブロックに依存する既存のアプローチは、依然としてパフォーマンスと軽量設計のバランスをとるのに苦労している。
マルチモーダルオブジェクト検出のための軽量かつ効率的なフレームワークMM-DETRを提案する。
論文 参考訳（メタデータ） (2025-11-29T07:23:01Z) - FindRec: Stein-Guided Entropic Flow for Multi-Modal Sequential Recommendation [57.577843653775]
textbfFindRec (textbfFlexible unified textbfinformation textbfdisentanglement for multi-modal sequence textbfRecommendation)を提案する。
Stein kernel-based Integrated Information Coordination Module (IICM) は理論上、マルチモーダル特徴とIDストリーム間の分散一貫性を保証する。
マルチモーダル特徴を文脈的関連性に基づいて適応的にフィルタリング・結合するクロスモーダル・エキスパート・ルーティング機構。
論文 参考訳（メタデータ） (2025-07-07T04:09:45Z) - Cross-Modal Learning for Anomaly Detection in Complex Industrial Process: Methodology and Benchmark [19.376814754500625]
複雑な産業プロセスにおける異常検出は、効率的で安定で安全な操作を確実にする上で重要な役割を担っている。
本稿では,マグネシウム溶融プロセスにおける視覚特徴(ビデオ)とプロセス変数(電流)の相関を探索し,異常検出を容易にするクロスモーダルトランスを提案する。
本稿では, マグネシウム溶融プロセスの先駆的なクロスモーダルベンチマークを行い, 同期的に取得したビデオデータと電流データを220万以上のサンプルで分析した。
論文 参考訳（メタデータ） (2024-06-13T11:40:06Z) - AMFD: Distillation via Adaptive Multimodal Fusion for Multispectral Pedestrian Detection [23.91870504363899]
マルチスペクトル検出におけるダブルストリームネットワークは、マルチモーダルデータに2つの異なる特徴抽出枝を用いる。
これにより、組み込みデバイスにおける多スペクトル歩行者検出が自律システムに広く採用されるのを妨げている。
本稿では,教師ネットワークの本来のモーダル特徴を完全に活用できる適応型モーダル核融合蒸留(AMFD)フレームワークについて紹介する。
論文 参考訳（メタデータ） (2024-05-21T17:17:17Z) - Fusion-Mamba for Cross-modality Object Detection [63.56296480951342]
異なるモダリティから情報を融合するクロスモダリティは、オブジェクト検出性能を効果的に向上させる。
We design a Fusion-Mamba block (FMB) to map cross-modal features into a hidden state space for interaction。
提案手法は,m3FD$が5.9%,FLIRデータセットが4.9%,m3FD$が5.9%である。
論文 参考訳（メタデータ） (2024-04-14T05:28:46Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳（メタデータ） (2023-09-22T06:55:41Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳（メタデータ） (2023-05-17T14:30:11Z) - A cross-modal fusion network based on self-attention and residual
structure for multimodal emotion recognition [7.80238628278552]
マルチモーダル感情認識のための自己注意構造と残像構造(CFN-SR)に基づく新たなクロスモーダル融合ネットワークを提案する。
提案手法の有効性を検証するため,RAVDESSデータセットを用いて実験を行った。
実験結果から,提案したCFN-SRは最先端技術を実現し,精度が75.76%,パラメータが26.30Mであることが確認された。
論文 参考訳（メタデータ） (2021-11-03T12:24:03Z) - Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。
このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
論文 参考訳（メタデータ） (2020-11-10T09:53:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。