論文の概要: Beyond RGB and Events: Enhancing Object Detection under Adverse Lighting with Monocular Normal Maps

• arxiv url: http://arxiv.org/abs/2508.02127v1
• Date: Mon, 04 Aug 2025 07:19:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.218514
• Title: Beyond RGB and Events: Enhancing Object Detection under Adverse Lighting with Monocular Normal Maps
• Title（参考訳）: RGBとイベントを超えて: 単分子正規写像を用いた逆照明下での物体検出の強化
• Authors: Mingjie Liu, Hanqing Liu, Chuang Zhu,
• Abstract要約: 我々は,新しいマルチモーダル検出フレームワークであるNRE-Netを紹介する。 これは、単眼で予測される表面正規地図、RGB画像、イベントストリームの3つの相補的なモダリティを融合させる。 NRE-Netは最先端の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 6.240947520777607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate object detection under adverse lighting conditions is critical for real-world applications such as autonomous driving. Although neuromorphic event cameras have been introduced to handle these scenarios, adverse lighting often induces distracting reflections from tunnel walls or road surfaces, which frequently lead to false obstacle detections. However, neither RGB nor event data alone is robust enough to address these complexities, and mitigating these issues without additional sensors remains underexplored. To overcome these challenges, we propose leveraging normal maps, directly predicted from monocular RGB images, as robust geometric cues to suppress false positives and enhance detection accuracy. We introduce NRE-Net, a novel multi-modal detection framework that effectively fuses three complementary modalities: monocularly predicted surface normal maps, RGB images, and event streams. To optimize the fusion process, our framework incorporates two key modules: the Adaptive Dual-stream Fusion Module (ADFM), which integrates RGB and normal map features, and the Event-modality Aware Fusion Module (EAFM), which adapts to the high dynamic range characteristics of event data. Extensive evaluations on the DSEC-Det-sub and PKU-DAVIS-SOD datasets demonstrate that NRE-Net significantly outperforms state-of-the-art methods. Our approach achieves mAP50 improvements of 7.9% and 6.1% over frame-based approaches (e.g., YOLOX), while surpassing the fusion-based SFNet by 2.7% on the DSEC-Det-sub dataset and SODFormer by 7.1% on the PKU-DAVIS-SOD dataset.
• Abstract（参考訳）: 不適切な照明条件下での正確な物体検出は、自律運転のような現実の応用には不可欠である。 ニューロモルフィックなイベントカメラはこれらのシナリオに対処するために導入されているが、悪い照明はトンネル壁や路面からの反射を邪魔し、しばしば誤った障害物検出を引き起こす。 しかし、RGBやイベントデータだけでは、これらの複雑さに対処できるほど堅牢ではない。 これらの課題を克服するために,単眼RGB画像から直接予測される正規写像をロバストな幾何学的手がかりとして活用し,偽陽性を抑え,検出精度を高めることを提案する。 NRE-Netは,表面正規写像,RGB画像,イベントストリームの3つの相補的モダリティを効果的に融合する,新しいマルチモーダル検出フレームワークである。 本フレームワークでは,RGBと通常のマップ機能を統合したAdaptive Dual-stream Fusion Module (ADFM) と,イベントデータの高ダイナミックレンジ特性に適応するEvent-modality Aware Fusion Module (EAFM) という2つの重要なモジュールを統合した。 DSEC-Det-subとPKU-DAVIS-SODデータセットの大規模な評価は、NRE-Netが最先端の手法を大幅に上回っていることを示している。 DSEC-Det-subデータセットでは融合ベースのSFNetが2.7%,PKU-DAVIS-SODデータセットではSODFormerが7.1%を上回り,フレームベースのアプローチ(例えばYOLOX)よりもmAP50が7.9%と6.1%向上した。

関連論文リスト

• Lightweight RGB-D Salient Object Detection from a Speed-Accuracy Tradeoff Perspective [54.91271106816616]
  現在のRGB-D法は通常、大規模なバックボーンを利用して精度を向上させるが効率を犠牲にする。 本稿では,軽量RGB-D SODのためのSATNet(Speed-Accuracy Tradeoff Network)を提案する。 深度について,高品質の深度マップを生成するための深度任意のモデルを導入する。 モダリティ融合において,モダリティ間の整合性を検討するために,DAM(Decoupled Attention Module)を提案する。 特徴表現のために,双方向の反転フレームワークを用いたDIRM (Dual Information Representation Module) を開発した。
  論文  参考訳（メタデータ） (2025-05-07T19:37:20Z)
• FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [63.87313550399871]
  画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。 自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。 PSTは、画像基礎モデルと潜在空間アライメントによるクロスモーダルな知識伝達を確立する。 FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
  論文  参考訳（メタデータ） (2025-03-25T15:04:53Z)
• Cross-Modal Object Tracking via Modality-Aware Fusion Network and A Large-Scale Dataset [20.729414075628814]
  我々は、Modality-Aware Fusion Network (MAFNet) と呼ばれる適応型クロスモーダル物体追跡アルゴリズムを提案する。 MAFNetは、適応重み付け機構を用いて、RGBとNIRの両方からの情報を効率的に統合する。
  論文  参考訳（メタデータ） (2023-12-22T05:22:33Z)
• Chasing Day and Night: Towards Robust and Efficient All-Day Object Detection Guided by an Event Camera [8.673063170884591]
  EOLOは、RGBとイベントモダリティの両方を融合させることで、堅牢で効率的な全日検出を実現する、新しいオブジェクト検出フレームワークである。 我々のEOLOフレームワークは、イベントの非同期特性を効率的に活用するために、軽量スパイキングニューラルネットワーク(SNN)に基づいて構築されている。
  論文  参考訳（メタデータ） (2023-09-17T15:14:01Z)
• RGB-Event Fusion for Moving Object Detection in Autonomous Driving [3.5397758597664306]
  移動物体検出(MOD)は安全な自動運転を実現するための重要な視覚課題である。 センサ技術の最近の進歩、特にイベントカメラは、移動物体をより良くモデル化するための従来のカメラアプローチを自然に補完することができる。 我々は、より堅牢なMODを実現するために、2つの相補的モダリティを共同で活用する新しいRGB-Event fusion NetworkであるRENetを提案する。
  論文  参考訳（メタデータ） (2022-09-17T12:59:08Z)
• MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth Seeds for 3D Object Detection [89.26380781863665]
  自律運転システムにおける高精度で信頼性の高い3次元物体検出を実現するためには,LiDARとカメラ情報の融合が不可欠である。 近年のアプローチでは、2次元カメラ画像の3次元空間への昇華点によるカメラ特徴のセマンティックな密度の探索が試みられている。 マルチグラニュラリティLiDARとカメラ機能とのマルチスケールなプログレッシブインタラクションに焦点を当てた,新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-07T12:29:29Z)
• Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection [16.64781797503128]
  RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。 本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。 ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-07T20:26:09Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• RGB-D Salient Object Detection with Ubiquitous Target Awareness [37.6726410843724]
  我々は、新しい深度認識フレームワークを用いて、RGB-D有向物体検出問題を解くための最初の試みを行う。 本稿では,RGB-D SODタスクにおける3つの課題を解決するために,ユビキタスターゲット意識(UTA)ネットワークを提案する。 提案するUTAネットワークは深度フリーで,43FPSでリアルタイムに動作可能である。
  論文  参考訳（メタデータ） (2021-09-08T04:27:29Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• DUT-LFSaliency: Versatile Dataset and Light Field-to-RGB Saliency Detection [104.50425501764806]
  ライトフィールドサリエンシー検出のための汎用性の高いアプリケーションを可能にする大規模なデータセットを紹介します。 本論文では,フォカルストリームとRGBストリームからなる非対称2ストリームモデルを提案する。 実験は、我々の焦点ストリームが最先端のパフォーマンスを達成することを実証する。
  論文  参考訳（メタデータ） (2020-12-30T11:53:27Z)
• RGB-D Salient Object Detection with Cross-Modality Modulation and Selection [126.4462739820643]
  本稿では, RGB-D Salient Object Detection (SOD) において, モジュール間相補性を段階的に統合し, 改良する有効な方法を提案する。 提案するネットワークは,1)RGB画像とそれに対応する深度マップからの補完情報を効果的に統合する方法,および2)より精度の高い特徴を適応的に選択する方法の2つの課題を主に解決する。
  論文  参考訳（メタデータ） (2020-07-14T14:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。