論文の概要: SARFusion: Scene-Aware Routing Fusion for Robust Camera-LiDAR 3D Object Detection
- arxiv url: http://arxiv.org/abs/2609.29235v1
- Date: Thu, 24 Sep 2026 08:43:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.796968
- Title: SARFusion: Scene-Aware Routing Fusion for Robust Camera-LiDAR 3D Object Detection
- Title(参考訳): SARFusion:ロバストカメラ-LiDAR3Dオブジェクト検出のためのシーンアウェア・ルーティング・フュージョン
- Abstract要約: カメラ-LiDAR融合は、自律運転における3次元物体検出のパラダイムとして主流となっている。
既存の核融合検出器は、しばしば強いモダリティ間の依存関係を確立する。
頑健な3次元物体検出器であるSARFusionを提案する。
- 参考スコア(独自算出の注目度): 1.5675763601034225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Camera-LiDAR fusion has become a prevailing paradigm for 3D object detection in autonomous driving. However, existing fusion detectors often establish strong inter-modality dependencies by decoding object queries from tightly coupled multimodal representations. Under corrupted driving conditions, such dependencies make the detector vulnerable to unreliable modalities, where degraded observations may interfere with reliable modality-specific evidence and lead to suboptimal predictions. Moreover, modality reliability can vary across both global driving scenes and individual object queries, requiring adaptive fusion decisions at a finer granularity. To bridge this gap, we reformulate robust camera-LiDAR fusion as a scene-aware branch routing problem and propose SARFusion, a robust 3D object detector. Instead of producing detections from a single fused representation, SARFusion decouples object-query decoding into three parallel reasoning branches: a camera branch, a LiDAR branch, and a camera-LiDAR fusion branch. Guided by a Scene Reliability Prior estimated from the global driving context, SARFusion further incorporates object-level evidence to route each query to the most suitable branch. This query-wise routing strategy alleviates harmful cross-modal interference while preserving the benefits of multimodal fusion when complementary cues are trustworthy. On the nuScenes test set, SARFusion achieves strong performance with 72.5 mAP and 74.4 NDS. Extensive analyses demonstrate its robustness under challenging conditions, including sensor corruptions and environmental changes.
- Abstract(参考訳): カメラ-LiDAR融合は、自律運転における3次元物体検出のパラダイムとして主流となっている。
しかし、既存の核融合検出器は、密結合したマルチモーダル表現からオブジェクトクエリをデコードすることで、強いモダリティ間依存関係を確立することが多い。
劣化した運転条件下では、そのような依存は検出器を信頼できないモダリティに対して脆弱にし、劣化した観測が信頼性の高いモダリティ特異な証拠に干渉し、最適以下の予測をもたらす可能性がある。
さらに、モダリティの信頼性は、グローバルな駆動シーンと個々のオブジェクトクエリの両方で異なり、より細かい粒度で適応的な融合決定を必要とする。
このギャップを埋めるために、シーン対応分岐ルーティング問題としてロバストカメラ-LiDAR融合を再構成し、ロバストな3Dオブジェクト検出器であるSARFusionを提案する。
単一の融合表現から検出を生成する代わりに、SARFusionはオブジェクト-クエリの復号を3つの並列推論ブランチ(カメラブランチ、LiDARブランチ、カメラ-LiDAR融合ブランチ)に分離する。
SARFusionは、グローバルな駆動コンテキストから推定されるシーン信頼性によってガイドされ、オブジェクトレベルのエビデンスをさらに取り入れて、各クエリを最も適切なブランチにルーティングする。
このクエリワイドルーティング戦略は、補完的なキューが信頼できる場合にマルチモーダル融合の利点を保ちながら、有害なクロスモーダル干渉を軽減する。
nuScenesテストセットでは、SARFusionは72.5 mAPと74.4 NDSで強力なパフォーマンスを達成した。
大規模な分析は、センサーの破損や環境変化など、困難な条件下での堅牢性を示している。
関連論文リスト
- Reliability-Driven LiDAR-Camera Fusion for Robust 3D Object Detection [0.0]
本稿では,鳥眼ビュー(BEV)空間で動作するLiDARカメラ融合フレームワークReliFusionを提案する。
ReliFusionは、Spatio-Temporal Feature Aggregation (STFA)モジュール、Reliabilityモジュール、Confidence-Weighted Mutual Cross-Attention (CW-MCA)モジュールという3つの重要なコンポーネントを統合している。
nuScenesデータセットの実験では、ReliFusionは最先端の手法よりも優れており、LiDARの視野に制限のあるシナリオにおいて、より優れた堅牢性と精度を実現している。
論文 参考訳(メタデータ) (2025-02-03T22:07:14Z) - Robust Multimodal 3D Object Detection via Modality-Agnostic Decoding and Proximity-based Modality Ensemble [15.173314907900842]
既存の3Dオブジェクト検出方法は、LiDARセンサーに大きく依存している。
我々は,LiDAR過信頼問題に対処するためにMEFormerを提案する。
我々のMEFormerは73.9% NDSと71.5% mAPの最先端性能を実現している。
論文 参考訳(メタデータ) (2024-07-27T03:21:44Z) - Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。
3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文 参考訳(メタデータ) (2023-05-12T18:08:51Z) - DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras
and Radars [2.2166853714891057]
本研究では,ライダー,カメラ,レーダーを異なる組み合わせで融合して3次元物体検出を行うモジュール型マルチモーダルアーキテクチャを提案する。
特殊特徴抽出器は各モードの利点を生かし、容易に交換でき、アプローチをシンプルかつ柔軟にする。
Lidar-camera, lidar-camera-radar, camera-radar fusion の実験結果から, 融合法の柔軟性と有効性が確認された。
論文 参考訳(メタデータ) (2022-09-26T14:33:30Z) - MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth
Seeds for 3D Object Detection [89.26380781863665]
自律運転システムにおける高精度で信頼性の高い3次元物体検出を実現するためには,LiDARとカメラ情報の融合が不可欠である。
近年のアプローチでは、2次元カメラ画像の3次元空間への昇華点によるカメラ特徴のセマンティックな密度の探索が試みられている。
マルチグラニュラリティLiDARとカメラ機能とのマルチスケールなプログレッシブインタラクションに焦点を当てた,新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-07T12:29:29Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with
Transformers [49.689566246504356]
そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。
TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。
提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
論文 参考訳(メタデータ) (2022-03-22T07:15:13Z) - EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object
Detection [56.03081616213012]
本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。
提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。
KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
論文 参考訳(メタデータ) (2021-12-21T10:48:34Z) - Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。
我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。
このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
論文 参考訳(メタデータ) (2021-04-07T04:03:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。