論文の概要: Mining Cross-Modal Perception Gaps in Autonomous Driving: When Camera and LiDAR Disagree

• arxiv url: http://arxiv.org/abs/2610.16906v1
• Date: Mon, 12 Oct 2026 14:56:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 04:17:12.170321
• Title: Mining Cross-Modal Perception Gaps in Autonomous Driving: When Camera and LiDAR Disagree
• Title（参考訳）: 自動運転におけるクロスモーダルな知覚ギャップ:カメラとLiDARが診断されたとき
• Abstract要約: 3Dオブジェクト検出のためのマルチモーダル融合は、カメラとLiDARが広く相補的であると仮定する。 モーダルが検出した全ての地平線オブジェクトにラベルを付け、その結果の0.4Mオブジェクトデータベースをマイニングする。 モダリティの優位性は、車の後ろの物体が前方の物体よりも顕著にLiDAR優位であることから、方向的に非定常であることに気付きました。
• 参考スコア（独自算出の注目度）: 5.410304374735817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal fusion for 3D object detection assumes that cameras and LiDAR are broadly complementary. In practice, how much each modality is trusted at a given location is decided by learned weights that are neither characterized nor auditable. We label every ground-truth object by which modalities detected it, then mine the resulting 0.4M-object database across nuScenes, KITTI, and Waymo. Because the patterns shift with distance from the ego vehicle, we read the mined model through Spatially Stratified Feature Attribution (SSFA), which conditions Shapley attribution on distance zones and exposes structure that global attribution averages away. Three assumptions built into the current fusion design do not hold. The modality-preference boundary tracks the object itself: a traffic cone is nearly six times as likely as a truck to be seen by the camera alone (16.8% vs. 2.9%), regardless of range. Camera-only detections peak at 10-30 m, inside the band usually ceded to LiDAR, and fall away on either side. The drivers of failure are not additive either: the distance - density interaction alone outweighs the entire main effect of viewing direction. We further find that modality dominance is directionally non-stationary, with objects behind the vehicle being markedly more LiDAR-dominant than those in front. We compile the mined structure into a Modality Reliability Map and inject it into four pretrained fusion detectors through a lightweight attention layer. This improves performance by up to 1.3 mean Average Precision (mAP) while fine-tuning under 4% of their parameters in 2-3 GPU-hours. Our work lifts reliability out of the weights and treats it as a quantity that can be examined before deployment. That is what a safety measure for multi-modal perception must rest on.
• Abstract（参考訳）: 3Dオブジェクト検出のためのマルチモーダル融合は、カメラとLiDARが広く相補的であると仮定する。 実際には、特定の場所で各モダリティがどの程度信頼されているかは、評価も監査もできない学習的な重みによって決定される。 得られた0.4Mオブジェクトデータベースは、nuScenes、KITTI、Waymoにまたがって抽出される。 パターンはエゴ車からの距離に変化するため,空間的階層化特徴属性 (SSFA) を通して, 距離領域における共有属性を条件とし, 大域的属性が平均となる構造を明らかにすることにより, マイニングモデルを読み取る。 現在の核融合設計に組み込まれた3つの仮定は成り立たない。 交通円錐は、距離に関係なく、カメラだけで見られるトラックの約6倍の確率(16.8%対2.9%)である。 カメラのみの検出は10-30mで、バンド内は通常LiDARに譲渡され、両側に落下する。 距離 - 密度の相互作用だけでは、視線方向の主な効果を上回ります。 さらに、モダリティの優位性は非定常的であり、車の後ろの物体は前方の物体よりも顕著にLiDARが支配的である。 地雷構造をモダリティ信頼性マップにコンパイルし、軽量の注意層を通して4つの事前訓練核融合検出器に注入する。 これにより、平均精度(mAP)が1.3まで向上し、2～3GPU時間でパラメータの4%以下で微調整される。 私たちの仕事は重みから信頼性を高め、デプロイ前に調べられる量として扱います。 マルチモーダルな認識のための安全対策は、それでなければならない。

関連論文リスト

• Seeing Is Not Measuring: Tool-Augmented Metric Spatial Reasoning for Vision-Language Models [0.0]
  VLM(Vision-Language Models)は、シーンをうまく記述するが、メートル法的な3D構造をうまく理解していない。 幾何学的ツールを備えた小さなVLMを備えた,モジュラーで予測可能なツール拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-24T06:03:30Z)
• FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog [0.0]
  データ中心のエンジニアリングと堅牢な機械学習をブリッジする、厳格に校正されたデータセットであるFogDriveを紹介します。 FogDriveには、4つの同期カメラ(RGB、深さ、セマンティックセグメンテーション)、LiDARとセマンティック-LiDARペア、フロントレーダの660のシーンが含まれている。 物理的に一貫した霧は、3つの校正された視界でカメラチャンネルとLiDARチャンネルを独立にモデル化する。 8k画像に対するセマンティックセグメンテーションに基づく品質監査では、アノテーションは95.1%の精度で、40m以内の車のリコールは99%以上である。
  論文  参考訳（メタデータ） (2026-07-18T06:53:56Z)
• RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird's Eye View for 3D Object Detection [68.99784784185019]
  暗い照明や悪天候はカメラの性能を低下させる。 レーダーは騒音と位置のあいまいさに悩まされる。 本稿では,BEVの頑健な物体検出モデルであるRobuRCDetを提案する。
  論文  参考訳（メタデータ） (2025-02-18T17:17:38Z)
• MetaOcc: Spatio-Temporal Fusion of Surround-View 4D Radar and Camera for 3D Occupancy Prediction with Dual Training Strategies [12.485905108032146]
  本稿では,Omni指向の3次元占有予測のための新しいマルチモーダルフレームワークであるMetaOccを紹介する。 レーダーデータにエンコーダを直接適用することの限界に対処するため,レーダハイト自己保持モジュールを提案する。 高価な点クラウドへの依存を軽減するため,オープンセットセグメンタに基づく擬似ラベル生成パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-01-26T03:51:56Z)
• Long-Tailed 3D Detection via Multi-Modal Fusion [58.89765900064689]
  本研究では,Long-Tailed 3D Detection (LT3D) の問題点について検討した。 単モードLiDARとRGB検出器を独立に訓練した多モード遅延核融合(MMLF)により,レアクラスの精度が特に向上することが指摘されている。 我々のMMLFはLT3Dの先行作業よりも優れており、特に12.8から20.0mAPまでの6つのレアなクラスで改善されています。
  論文  参考訳（メタデータ） (2023-12-18T07:14:25Z)
• Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
  マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
  論文  参考訳（メタデータ） (2023-05-12T18:08:51Z)
• InfraDet3D: Multi-Modal 3D Object Detection based on Roadside Infrastructure Camera and LiDAR Sensors [23.058209168505247]
  InfraDet3Dは道路インフラストラクチャセンサーのためのマルチモーダル3Dオブジェクト検出器である。 初期核融合により2つのLiDARを融合し、さらに単眼カメラからの検知を組み込んでロバスト性を高め、小さな物体を検出する。 知覚フレームワークは、ミュンヘンのA9テストストレッチ(A9 Test Stretch)の一部である現実世界の交差点に展開されている。
  論文  参考訳（メタデータ） (2023-04-29T17:59:55Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• Embracing Single Stride 3D Object Detector with Sparse Transformer [63.179720817019096]
  自律走行のためのLiDARを用いた3次元物体検出では、物体サイズと入力シーンサイズとの比が2次元検出の場合に比べて有意に小さい。 多くの3D検出器は2D検出器の一般的な慣習に従っており、点雲の定量化後も特徴マップを分解する。 本稿では,SST(Single-stride Sparse Transformer)を提案する。
  論文  参考訳（メタデータ） (2021-12-13T02:12:02Z)
• Road Curb Detection and Localization with Monocular Forward-view Vehicle Camera [74.45649274085447]
  魚眼レンズを装着した校正単眼カメラを用いて3Dパラメータを推定するロバストな手法を提案する。 我々のアプローチでは、車両が90%以上の精度で、リアルタイムで距離を抑えることができる。
  論文  参考訳（メタデータ） (2020-02-28T00:24:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。