論文の概要: Rethinking Multi-modal Object Detection from the Perspective of Mono-Modality Feature Learning

• arxiv url: http://arxiv.org/abs/2503.11780v1
• Date: Fri, 14 Mar 2025 18:15:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:31:48.750790
• Title: Rethinking Multi-modal Object Detection from the Perspective of Mono-Modality Feature Learning
• Title（参考訳）: モノモダリティ特徴学習の観点からのマルチモーダル物体検出の再考
• Authors: Tianyi Zhao, Boyang Liu, Yanglei Gao, Yiming Sun, Maoxun Yuan, Xingxing Wei,
• Abstract要約: 我々は,マルチモーダル検出器に線形探索評価を導入し,マルチモーダル物体検出タスクを再考する。 M$2$D-LIFという,モノモダリティ蒸留(M$2$D)法と局所照明対応核融合(LIF)モジュールからなる新しいフレームワークを構築した。 我々のM$2$D-LIFは、Fusion Degradation現象を効果的に軽減し、以前のSOTA検出器より優れている。
• 参考スコア（独自算出の注目度）: 18.268054258939213
• License:
• Abstract: Multi-Modal Object Detection (MMOD), due to its stronger adaptability to various complex environments, has been widely applied in various applications. Extensive research is dedicated to the RGB-IR object detection, primarily focusing on how to integrate complementary features from RGB-IR modalities. However, they neglect the mono-modality insufficient learning problem that the decreased feature extraction capability in multi-modal joint learning. This leads to an unreasonable but prevalent phenomenon--Fusion Degradation, which hinders the performance improvement of the MMOD model. Motivated by this, in this paper, we introduce linear probing evaluation to the multi-modal detectors and rethink the multi-modal object detection task from the mono-modality learning perspective. Therefore, we construct an novel framework called M$^2$D-LIF, which consists of the Mono-Modality Distillation (M$^2$D) method and the Local Illumination-aware Fusion (LIF) module. The M$^2$D-LIF framework facilitates the sufficient learning of mono-modality during multi-modal joint training and explores a lightweight yet effective feature fusion manner to achieve superior object detection performance. Extensive experiments conducted on three MMOD datasets demonstrate that our M$^2$D-LIF effectively mitigates the Fusion Degradation phenomenon and outperforms the previous SOTA detectors.
• Abstract（参考訳）: 多モード物体検出(MMOD)は、様々な複雑な環境への適応性が強く、様々な用途に広く応用されている。 広汎な研究はRGB-IRオブジェクト検出に特化しており、主にRGB-IRモダリティから補完的な特徴を統合する方法に焦点を当てている。 しかし,マルチモーダル共同学習における特徴抽出能力の低下というモノモダリティの不十分な学習問題を無視した。 これにより、不合理だが一般的な現象であるフュージョン・デグラデーション(Fusion Degradation)が発生し、MMODモデルの性能改善を妨げます。 そこで本研究では,マルチモーダル検出器に線形探索評価を導入し,モノモーダル学習の観点から多モーダル物体検出タスクを再考する。 そこで本研究では,モノモダリティ蒸留 (M$^2$D) 法と局所照明対応核融合 (LIF) モジュールからなる新しいフレームワーク M$^2$D-LIF を構築した。 M$^2$D-LIFフレームワークは、マルチモーダルジョイントトレーニングにおいて、モノモダリティの十分な学習を容易にし、より優れたオブジェクト検出性能を実現するために、軽量で効果的な特徴融合方法を模索する。 3つのMMODデータセットで行った大規模な実験により、我々のM$^2$D-LIFは核融合崩壊現象を効果的に軽減し、以前のSOTA検出器より優れていることが示された。

関連論文リスト

• SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [73.49799596304418]
  本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。 水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。 この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
  論文  参考訳（メタデータ） (2024-12-30T02:47:51Z)
• Optimizing Multispectral Object Detection: A Bag of Tricks and Comprehensive Benchmarks [49.84182981950623]
  RGBおよびTIR(熱赤外)変調を利用したマルチスペクトル物体検出は,課題として広く認識されている。 モダリティと堅牢な融合戦略の両方から特徴を効果的に抽出するだけでなく、スペクトルの相違といった問題に対処する能力も必要である。 本稿では,高パフォーマンス単一モードモデルのシームレスな最適化が可能な,効率的かつ容易にデプロイ可能なマルチスペクトルオブジェクト検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-27T12:18:39Z)
• RADAR: Robust Two-stage Modality-incomplete Industrial Anomaly Detection [61.71770293720491]
  本稿では,2段階のロバスト・モードアリティ不完全融合とFlaAmewoRkの検出について提案する。 我々のブートストラッピング哲学は、MIIADの2段階を強化し、マルチモーダルトランスの堅牢性を向上させることである。 実験の結果,提案手法は従来のMIAD法よりも有効性とロバスト性に優れていた。
  論文  参考訳（メタデータ） (2024-10-02T16:47:55Z)
• DMM: Disparity-guided Multispectral Mamba for Oriented Object Detection in Remote Sensing [8.530409994516619]
  マルチスペクトル指向物体検出は、モーダル間およびモーダル内両方の相違により、課題に直面している。 本稿では,DMM(Disparity-guided Multispectral Mamba),DCFM(Disparity-guided Cross-modal Fusion Mamba)モジュール,MTA(Multiscale Target-aware Attention)モジュール,TPA(Target-Prior Aware)補助タスクからなるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-11T02:09:59Z)
• AMFD: Distillation via Adaptive Multimodal Fusion for Multispectral Pedestrian Detection [23.91870504363899]
  マルチスペクトル検出におけるダブルストリームネットワークは、マルチモーダルデータに2つの異なる特徴抽出枝を用いる。 これにより、組み込みデバイスにおける多スペクトル歩行者検出が自律システムに広く採用されるのを妨げている。 本稿では,教師ネットワークの本来のモーダル特徴を完全に活用できる適応型モーダル核融合蒸留(AMFD)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2024-05-21T17:17:17Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
  MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。 特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。 本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:26:02Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• MMDR: A Result Feature Fusion Object Detection Approach for Autonomous System [5.499393552545591]
  提案手法は,MMDR (Multi-Modal Detector based based Result features) と呼ばれ,2次元と3次元の両方のオブジェクト検出タスクで動作するように設計されている。 MMDRモデルは、機能融合の段階で、浅いグローバルな特徴を取り入れ、背景情報を知覚する能力を持つモデルを提供する。
  論文  参考訳（メタデータ） (2023-04-19T12:28:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。