論文の概要: Removal and Selection: Improving RGB-Infrared Object Detection via Coarse-to-Fine Fusion

• arxiv url: http://arxiv.org/abs/2401.10731v5
• Date: Tue, 7 May 2024 06:52:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 19:44:23.424419
• Title: Removal and Selection: Improving RGB-Infrared Object Detection via Coarse-to-Fine Fusion
• Title（参考訳）: 除去・選択:粗視融合によるRGB赤外線物体検出の改善
• Authors: Tianyi Zhao, Maoxun Yuan, Feng Jiang, Nan Wang, Xingxing Wei,
• Abstract要約: 既存の融合戦略のほとんどは、RGBとIR画像をディープニューラルネットワークに直接入力し、検出性能が劣る。 2つのモダリティの特徴を清浄し、融合させるために、新しい粗大な視点を導入する。 粗大な核融合戦略の有効性を検証するため、除去・選択検出器(RSDet)と呼ばれる新しい物体検出器を構築した。
• 参考スコア（独自算出の注目度）: 20.12812979315803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Object detection in visible (RGB) and infrared (IR) images has been widely applied in recent years. Leveraging the complementary characteristics of RGB and IR images, the object detector provides reliable and robust object localization from day to night. Most existing fusion strategies directly input RGB and IR images into deep neural networks, leading to inferior detection performance. However, the RGB and IR features have modality-specific noise, these strategies will exacerbate the fused features along with the propagation. Inspired by the mechanism of the human brain processing multimodal information, in this paper, we introduce a new coarse-to-fine perspective to purify and fuse two modality features. Specifically, following this perspective, we design a Redundant Spectrum Removal module to coarsely remove interfering information within each modality and a Dynamic Feature Selection module to finely select the desired features for feature fusion. To verify the effectiveness of the coarse-to-fine fusion strategy, we construct a new object detector called the Removal and Selection Detector (RSDet). Extensive experiments on three RGB-IR object detection datasets verify the superior performance of our method.
• Abstract（参考訳）: 近年,可視光(RGB)と赤外線(IR)画像の物体検出が広く行われている。 オブジェクト検出器は、RGBとIR画像の補完特性を活用して、昼夜の信頼性と堅牢な物体位置決めを提供する。 既存の融合戦略のほとんどは、RGBとIR画像をディープニューラルネットワークに直接入力し、検出性能が劣る。 しかし、RGBとIRの特徴はモーダリティ特有のノイズを持ち、これらの戦略は伝播とともに融合した特徴を悪化させる。 本稿では,人間の脳のマルチモーダル情報処理機構に触発されて,2つのモーダル特徴を浄化・融合する,より粗い視点を導入する。 具体的には、各モード内の干渉情報を粗く除去する冗長スペクトル除去モジュールと、特徴融合のために所望の機能を微調整する動的特徴選択モジュールを設計する。 粗大な核融合戦略の有効性を検証するため, 除去・選択検出器 (RSDet) と呼ばれる新しい物体検出器を構築した。 3つのRGB-IRオブジェクト検出データセットの大規模な実験により,本手法の優れた性能が検証された。

関連論文リスト

• The Solution for the GAIIC2024 RGB-TIR object detection Challenge [5.625794757504552]
  RGB-TIRオブジェクト検出は、RGBとTIRの両方の画像を、検出中に補完情報として利用する。 提案手法はAとBのベンチマークでそれぞれ0.516と0.543のmAPスコアを得た。
  論文  参考訳（メタデータ） (2024-07-04T12:08:36Z)
• Translation, Scale and Rotation: Cross-Modal Alignment Meets RGB-Infrared Vehicle Detection [10.460296317901662]
  空中RGB-IR画像における検出は, クロスモーダルな不整合問題に悩まされている。 本稿では,TSRA (Translation-Scale-Rotation Alignment) モジュールを提案する。 TSRAモジュールに基づく2ストリーム特徴アライメント検出器(TSFADet)は、空中画像におけるRGB-IRオブジェクト検出のために構築されている。
  論文  参考訳（メタデータ） (2022-09-28T03:06:18Z)
• Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection [16.64781797503128]
  RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。 本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。 ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-07T20:26:09Z)
• Radar Guided Dynamic Visual Attention for Resource-Efficient RGB Object Detection [10.983063391496543]
  自動運転車の認識品質を向上させるために,RGB画像に対する新しいレーダー誘導空間アテンションを提案する。 提案手法は,RGBモードの物体検出装置では検出されない小型・長距離物体の知覚を改善する。
  論文  参考訳（メタデータ） (2022-06-03T18:29:55Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• Infrared Small-Dim Target Detection with Transformer under Complex Backgrounds [155.388487263872]
  変換器を用いた赤外線小径目標検出手法を提案する。 画像特徴の相互作用情報をより広い範囲で学習するために,変換器の自己認識機構を採用する。 最小限のターゲットの機能を学習するための機能拡張モジュールも設計しています。
  論文  参考訳（メタデータ） (2021-09-29T12:23:41Z)
• Perception-aware Multi-sensor Fusion for 3D LiDAR Semantic Segmentation [59.42262859654698]
  3Dセマンティックセグメンテーションは、自動運転やロボット工学など、多くのアプリケーションにおいてシーン理解において重要である。 既存の融合法は、2つのモードの差が大きいため、有望な性能を達成できない。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection [145.4919781325014]
  クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。 多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。 本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-12T08:50:10Z)
• Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning [59.19469551774703]
  ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。 我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。 私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
  論文  参考訳（メタデータ） (2020-03-05T05:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。