Fugu-MT 論文翻訳(概要): CFMW: Cross-modality Fusion Mamba for Multispectral Object Detection under Adverse Weather Conditions

論文の概要: CFMW: Cross-modality Fusion Mamba for Multispectral Object Detection under Adverse Weather Conditions

arxiv url: http://arxiv.org/abs/2404.16302v1
Date: Thu, 25 Apr 2024 02:54:11 GMT
ステータス: 処理完了
システム内更新日: 2024-04-26 14:58:12.963736
Title: CFMW: Cross-modality Fusion Mamba for Multispectral Object Detection under Adverse Weather Conditions
Title（参考訳）: CFMW:逆気象条件下でのマルチスペクトル物体検出のためのクロスモーダル核融合マンバ
Authors: Haoyuan Li, Qi Hu, You Yao, Kailun Yang, Peng Chen,
Abstract要約: 可視赤外スペクトルキューを統合するモダリティ画像は、オブジェクト検出のためのよりリッチな情報を提供することができる。既存の可視赤外物体検出法は、厳しい気象条件下で著しく劣化する。悪天候下での可視赤外物体検出について紹介する。
参考スコア（独自算出の注目度）: 17.216501433862014
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Cross-modality images that integrate visible-infrared spectra cues can provide richer complementary information for object detection. Despite this, existing visible-infrared object detection methods severely degrade in severe weather conditions. This failure stems from the pronounced sensitivity of visible images to environmental perturbations, such as rain, haze, and snow, which frequently cause false negatives and false positives in detection. To address this issue, we introduce a novel and challenging task, termed visible-infrared object detection under adverse weather conditions. To foster this task, we have constructed a new Severe Weather Visible-Infrared Dataset (SWVID) with diverse severe weather scenes. Furthermore, we introduce the Cross-modality Fusion Mamba with Weather-removal (CFMW) to augment detection accuracy in adverse weather conditions. Thanks to the proposed Weather Removal Diffusion Model (WRDM) and Cross-modality Fusion Mamba (CFM) modules, CFMW is able to mine more essential information of pedestrian features in cross-modality fusion, thus could transfer to other rarer scenarios with high efficiency and has adequate availability on those platforms with low computing power. To the best of our knowledge, this is the first study that targeted improvement and integrated both Diffusion and Mamba modules in cross-modality object detection, successfully expanding the practical application of this type of model with its higher accuracy and more advanced architecture. Extensive experiments on both well-recognized and self-created datasets conclusively demonstrate that our CFMW achieves state-of-the-art detection performance, surpassing existing benchmarks. The dataset and source code will be made publicly available at https://github.com/lhy-zjut/CFMW.
Abstract（参考訳）: 可視赤外スペクトルキューを統合するモダリティ画像は、オブジェクト検出のためのよりリッチな補完情報を提供することができる。それにもかかわらず、既存の可視赤外物体検出法は厳しい気象条件下で著しく劣化する。この失敗は、雨、干し草、雪などの環境の摂動に対する可視像の顕著な感受性に起因し、検出時にしばしば偽陰性や偽陽性を引き起こす。この問題に対処するために,悪天候下での可視赤外物体検出という,新規で困難な課題を導入する。本研究は,この課題を補うために,多種多様な厳しい気象シーンを持つSeverre Weather Visible-Infrared Dataset (SWVID) を構築した。さらに,悪天候における検出精度を高めるため,CFMWを用いたクロスモダリティ・フュージョン・マンバを導入する。提案された気象除去拡散モデル(WRDM)とCFMモジュールにより、CFMWは、横断モード融合において歩行者の特徴のより重要な情報をマイニングすることができ、高い効率で他の稀なシナリオに転送でき、計算能力の低いプラットフォームで十分な可用性を得ることができる。我々の知る限りでは、DiffusionとMambaの両モジュールをクロスモダリティオブジェクト検出に統合し、このタイプのモデルの実用的応用を高い精度でより高度なアーキテクチャで拡張した最初の研究である。十分に認識されたデータセットと自己生成されたデータセットの広範な実験は、我々のCFMWが最先端の検出性能を達成し、既存のベンチマークを上回っていることを決定的に証明している。データセットとソースコードはhttps://github.com/lhy-zjut/CFMWで公開されている。

関連論文リスト

ContextualFusion: Context-Based Multi-Sensor Fusion for 3D Object Detection in Adverse Operating Conditions [1.7537812081430004]
本研究では,3次元物体検出モデルにカメラやライダーの知識を取り入れたContextualFusionという手法を提案する。我々の手法は、文脈バランスの取れた合成データセットの最先端手法に対して6.2%のmAP改善をもたらす。本手法は,実世界のNuScenesデータセット上での夜間の3D対物性能を11.7%向上させる。
論文参考訳（メタデータ） (2024-04-23T06:37:54Z)
Beyond Night Visibility: Adaptive Multi-Scale Fusion of Infrared and Visible Images [49.75771095302775]
赤外線および可視画像を用いた適応型マルチスケール核融合ネットワーク(AMFusion)を提案する。まず、赤外画像と可視画像から空間的特徴と意味的特徴を分離し、前者が光分布の調整に使用される。第2に,事前学習したバックボーンから抽出した検出機能を利用して,意味的特徴の融合を誘導する。第3に、通常の光強度で融合画像を制約する新しい照明損失を提案する。
論文参考訳（メタデータ） (2024-03-02T03:52:07Z)
Multi-Task Cross-Modality Attention-Fusion for 2D Object Detection [6.388430091498446]
レーダとカメラデータの整合性を向上する2つの新しいレーダ前処理手法を提案する。また,オブジェクト検出のためのMulti-Task Cross-Modality Attention-Fusion Network (MCAF-Net)を導入する。我々のアプローチは、nuScenesデータセットにおける現在の最先端のレーダーカメラフュージョンベースのオブジェクト検出器よりも優れています。
論文参考訳（メタデータ） (2023-07-17T09:26:13Z)
Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration [59.02821429555375]
我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
論文参考訳（メタデータ） (2022-05-24T07:51:57Z)
ReDFeat: Recoupling Detection and Description for Multimodal Feature Learning [51.07496081296863]
我々は、相互重み付け戦略による多モーダル特徴学習の検出と記述の独立した制約を再定義する。本研究では,大きな受容場を有し,学習可能な非最大抑制層を備える検出器を提案する。我々は,特徴マッチングと画像登録タスクにおける特徴量を評価するために,クロス可視,赤外線,近赤外,合成開口レーダ画像ペアを含むベンチマークを構築した。
論文参考訳（メタデータ） (2022-05-16T04:24:22Z)
Pay "Attention" to Adverse Weather: Weather-aware Attention-based Object Detection [5.816506391882502]
本稿では,マルチモーダルセンシングストリームを適応的に融合させるGLA(Global-Local Attention)フレームワークを提案する。具体的には、GLAは、ローカルアテンションネットワークを介してアーリーステージフュージョンと、グローバルアテンションネットワークを介してレイトステージフュージョンを統合し、ローカル情報とグローバル情報の両方を扱う。実験により, 提案したGLAの性能は, 最先端核融合法と比較して優れていた。
論文参考訳（メタデータ） (2022-04-22T16:32:34Z)
Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
論文参考訳（メタデータ） (2022-03-30T11:44:56Z)
Fusion Detection via Distance-Decay IoU and weighted Dempster-Shafer Evidence Theory [0.0]
高速なマルチソース核融合検出フレームワークが提案されている。ターゲットの形状特性を符号化するために、ユニオン上の新しい距離デカイ交叉を用いる。重み付けされたデンプスター・シェーファーのエビデンス理論は、光学と合成開口レーダ検出を組み合わせたものである。
論文参考訳（メタデータ） (2021-12-06T13:46:39Z)
Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文参考訳（メタデータ） (2021-07-14T21:10:47Z)
Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning [59.19469551774703]
ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
論文参考訳（メタデータ） (2020-03-05T05:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。