論文の概要: SAMFusion: Sensor-Adaptive Multimodal Fusion for 3D Object Detection in Adverse Weather

• arxiv url: http://arxiv.org/abs/2508.16408v1
• Date: Fri, 22 Aug 2025 14:20:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.40783
• Title: SAMFusion: Sensor-Adaptive Multimodal Fusion for 3D Object Detection in Adverse Weather
• Title（参考訳）: SAMFusion:逆気象下での3次元物体検出のためのセンサ適応型マルチモーダルフュージョン
• Authors: Edoardo Palladin, Roland Dietze, Praveen Narayanan, Mario Bijelic, Felix Heide,
• Abstract要約: 気象条件に合わせた新しいマルチセンサ融合手法を提案する。 RGBとLiDARセンサーの融合に加えて、我々のセンサー融合スタックは、NIRカメラとレーダーモードから学習することもできる。 気象条件下での自律走行車におけるマルチモーダルセンサフュージョンの信頼性を向上させる。
• 参考スコア（独自算出の注目度）: 33.428611256223256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal sensor fusion is an essential capability for autonomous robots, enabling object detection and decision-making in the presence of failing or uncertain inputs. While recent fusion methods excel in normal environmental conditions, these approaches fail in adverse weather, e.g., heavy fog, snow, or obstructions due to soiling. We introduce a novel multi-sensor fusion approach tailored to adverse weather conditions. In addition to fusing RGB and LiDAR sensors, which are employed in recent autonomous driving literature, our sensor fusion stack is also capable of learning from NIR gated camera and radar modalities to tackle low light and inclement weather. We fuse multimodal sensor data through attentive, depth-based blending schemes, with learned refinement on the Bird's Eye View (BEV) plane to combine image and range features effectively. Our detections are predicted by a transformer decoder that weighs modalities based on distance and visibility. We demonstrate that our method improves the reliability of multimodal sensor fusion in autonomous vehicles under challenging weather conditions, bridging the gap between ideal conditions and real-world edge cases. Our approach improves average precision by 17.2 AP compared to the next best method for vulnerable pedestrians in long distances and challenging foggy scenes. Our project page is available at https://light.princeton.edu/samfusion/
• Abstract（参考訳）: マルチモーダルセンサ融合は自律型ロボットにとって不可欠な機能であり、不確実な入力が存在する場合、物体の検出と意思決定を可能にする。 近年の核融合法は, 通常の環境条件下では優れているが, 土壌汚染による悪天候, 霧, 雪, 障害などの状況下では失敗する。 気象条件に合わせた新しいマルチセンサ融合手法を提案する。 近年の自動運転の文献で使われているRGBとLiDARセンサーの融合に加えて、我々のセンサー融合スタックは、NIRゲートカメラとレーダーモードから学習して、低照度と不規則な天候に対処することができる。 我々は,鳥の視線ビュー(BEV)平面を改良し,画像と範囲の機能を効果的に組み合わせ,注意深い奥行きに基づくブレンディング方式によりマルチモーダルセンサデータを融合する。 我々の検出は、距離と可視性に基づいてモダリティを重み付けするトランスフォーマーデコーダによって予測される。 本手法は, 理想的な条件と現実のエッジケースとのギャップを埋めることにより, 気象条件に挑戦する自律走行車におけるマルチモーダルセンサ融合の信頼性を向上させることを実証する。 我々のアプローチは、長距離の脆弱な歩行者と霧のシーンに挑戦する次の最良の方法と比較して、平均精度を17.2 APで改善する。 私たちのプロジェクトページはhttps://light.princeton.edu/samfusion/で公開されています。

関連論文リスト

• MSSF: A 4D Radar and Camera Fusion Framework With Multi-Stage Sampling for 3D Object Detection in Autonomous Driving [9.184945917823047]
  本研究では,4次元レーダとカメラを用いた簡易かつ効果的なマルチステージサンプリング・フュージョン(MSSF)ネットワークを提案する。 MSSFは、View-of-Delft(VoD)とTJ4DRadsetデータセットの3D平均精度を7.0%と4.0%改善している。 さらには、VoDデータセット上の古典的なLiDARベースのメソッドを超越している。
  論文  参考訳（メタデータ） (2024-11-22T15:45:23Z)
• CAFuser: Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
  本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。 CAFuserは、RGBカメラ入力を用いて環境条件を分類し、コンディショントークンを生成する。 我々のモデルは、特に悪条件シナリオにおいて、ロバスト性と精度を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-14T17:56:20Z)
• ContextualFusion: Context-Based Multi-Sensor Fusion for 3D Object Detection in Adverse Operating Conditions [1.7537812081430004]
  本研究では,3次元物体検出モデルにカメラやライダーの知識を取り入れたContextualFusionという手法を提案する。 我々の手法は、文脈バランスの取れた合成データセットの最先端手法に対して6.2%のmAP改善をもたらす。 本手法は,実世界のNuScenesデータセット上での夜間の3D対物性能を11.7%向上させる。
  論文  参考訳（メタデータ） (2024-04-23T06:37:54Z)
• Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion [74.84019379368807]
  本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。 具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
  論文  参考訳（メタデータ） (2023-07-31T09:53:50Z)
• Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
  マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
  論文  参考訳（メタデータ） (2023-05-12T18:08:51Z)
• Pay "Attention" to Adverse Weather: Weather-aware Attention-based Object Detection [5.816506391882502]
  本稿では,マルチモーダルセンシングストリームを適応的に融合させるGLA(Global-Local Attention)フレームワークを提案する。 具体的には、GLAは、ローカルアテンションネットワークを介してアーリーステージフュージョンと、グローバルアテンションネットワークを介してレイトステージフュージョンを統合し、ローカル情報とグローバル情報の両方を扱う。 実験により, 提案したGLAの性能は, 最先端核融合法と比較して優れていた。
  論文  参考訳（メタデータ） (2022-04-22T16:32:34Z)
• TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers [49.689566246504356]
  そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。 TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。 提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
  論文  参考訳（メタデータ） (2022-03-22T07:15:13Z)
• HydraFusion: Context-Aware Selective Sensor Fusion for Robust and Efficient Autonomous Vehicle Perception [9.975955132759385]
  自律走行車(AV)の知覚を改善するために、カメラ、レーダー、ライダーセンサーからのセンサデータを融合する技術が提案されている。 既存の手法は、融合実装の剛性のため、困難な運転環境では不十分に堅牢である。 提案するHydraFusionは、現在の運転状況を特定し、センサの最良の組み合わせを融合する選択的なセンサー融合フレームワークである。
  論文  参考訳（メタデータ） (2022-01-17T22:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。