論文の概要: Towards robust multimodal 3D object detection via visual foundation models

• arxiv url: http://arxiv.org/abs/2609.23541v1
• Date: Sun, 20 Sep 2026 10:41:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.847314
• Title: Towards robust multimodal 3D object detection via visual foundation models
• Title（参考訳）: 視覚基礎モデルによる頑健なマルチモーダル3次元物体検出に向けて
• Abstract要約: RoboDistillは堅牢で汎用的なマルチモーダル3Dオブジェクト検出フレームワークである。 まず,自動走行画像にSAMを微調整するドメイン固有の事前学習戦略であるSAM-ADを紹介する。 第3に,高周波センサノイズを抑制するDGWAモジュールを開発した。 第4に、KD Fusionを導入し、SAM-ADは高品質な視覚知識を軽量なポイントクラウドネットワークに蒸留する教師として機能する。
• 参考スコア（独自算出の注目度）: 23.178638282987578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal 3D object detection is fundamental to robust perception in autonomous driving because it integrates complementary information from LiDAR and camera sensors. However, existing methods often fail to maintain robustness under out-of-distribution (OOD) corruptions caused by sensor noise, adverse weather, and environmental changes. To address this problem, we propose RoboDistill, a robust and generalizable multimodal 3D object detection framework that leverages visual foundation models (VFMs), such as the Segment Anything Model (SAM). First, we introduce SAM-AD, a domain-specific pretraining strategy that fine-tunes SAM on autonomous-driving imagery to extract feature representations with rich semantic information. Second, we design the AD Feature Pyramid Network (AD-FPN) to refine and upsample SAM features at multiple scales for seamless fusion with LiDAR features. Third, we develop the Depth-Guided Wavelet Attention (DGWA) module, which suppresses high-frequency sensor noise while preserving critical contextual information. Finally, we introduce KD Fusion, in which the pretrained SAM-AD serves as a teacher that distills high-quality visual knowledge into a lightweight point-cloud network, thereby improving robustness under noisy conditions. Extensive experiments across 27 challenging OOD corruption settings show that RoboDistill generally delivers stronger or competitive detection performance and robustness relative to representative state-of-the-art methods. This work bridges the gap between VFMs and 3D object detection and advances robust multimodal perception for real-world autonomous-driving applications.
• Abstract（参考訳）: マルチモーダル3Dオブジェクト検出は、LiDARとカメラセンサーの相補的な情報を統合するため、自律運転における堅牢な認識の基礎となる。 しかし、既存の手法は、センサノイズ、悪天候、環境変化によって引き起こされたOOD(out-of-distriion)の汚職下での堅牢性を維持するのに失敗することが多い。 この問題に対処するため、私たちは、Segment Anything Model (SAM) のような視覚的基盤モデル(VFM)を活用する、堅牢で一般化可能なマルチモーダル3Dオブジェクト検出フレームワークであるRoboDistillを提案する。 まず、SAM-ADというドメイン固有の事前学習戦略を導入し、SAMを自動運転画像に微調整し、特徴表現をリッチな意味情報で抽出する。 第2に,AD特徴ピラミッドネットワーク(AD-FPN)を設計し,複数スケールでSAM機能を洗練・アップサンプルし,LiDAR機能とのシームレスな融合を実現する。 第3に,重要なコンテキスト情報を保持しながら高周波センサノイズを抑制するDGWAモジュールを開発した。 最後に,学習済みSAM-ADが教師として機能し,高品質な視覚知識を軽量なポイントクラウドネットワークに蒸留し,ノイズ条件下での堅牢性を向上させるKD Fusionを紹介する。 27の挑戦的なOODの汚職設定に対する大規模な実験は、RoboDistillが一般的に、最先端の代表的な方法と比較して、より強い、あるいは競争的な検出性能と堅牢性を提供することを示している。 この研究は、VFMと3Dオブジェクト検出のギャップを埋め、現実の自動運転アプリケーションに対する堅牢なマルチモーダル認識を前進させる。

関連論文リスト

• A Tri-Modal Dataset and a Baseline System for Tracking Unmanned Aerial Vehicles [74.8162337823142]
  MM-UAVはMulti-Modal UAV Trackingの最初の大規模ベンチマークである。 データセットは30以上の挑戦的なシナリオにまたがっており、1,321の同期マルチモーダルシーケンスと280万以上の注釈付きフレームがある。 データセットを伴って、我々は新しいマルチモーダルマルチUAV追跡フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-11-23T08:42:17Z)
• Robust Modality-incomplete Anomaly Detection: A Modality-instructive Framework with Benchmark [69.02666229531322]
  モダリティ不完全産業異常検出(MIIAD)の先駆的研究を紹介する。 その結果,既存のMIAD手法はMIIADベンチでは性能が悪く,性能が著しく低下していることが判明した。 本稿では,新しい2段階のロバストモードアリティファジングと検出フレームwoRk(RADAR)を提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:47:55Z)
• Robust Multimodal 3D Object Detection via Modality-Agnostic Decoding and Proximity-based Modality Ensemble [15.173314907900842]
  既存の3Dオブジェクト検出方法は、LiDARセンサーに大きく依存している。 我々は,LiDAR過信頼問題に対処するためにMEFormerを提案する。 我々のMEFormerは73.9% NDSと71.5% mAPの最先端性能を実現している。
  論文  参考訳（メタデータ） (2024-07-27T03:21:44Z)
• RoboFusion: Towards Robust Multi-Modal 3D Object Detection via SAM [13.52333703159454]
  マルチモーダルな3Dオブジェクト検出器は、自律運転のための安全で信頼性の高い認識システムを探究することを目的としている。 視覚基盤モデル(VFM)の出現に伴い、VFMの堅牢性と一般化を改善するための機会と課題が提示される。 我々は,SAM のような VFM を利用したロバストなフレームワークであるRoboFusion を提案し,アウト・オブ・ディストリビューション(OOD) ノイズシナリオに対処する。
  論文  参考訳（メタデータ） (2024-01-08T14:10:24Z)
• SimDistill: Simulated Multi-modal Distillation for BEV 3D Object Detection [56.24700754048067]
  多視点カメラによる3Dオブジェクト検出は低コストで普及しているが、カメラデータのみから正確に3D形状を推定することは依然として困難である。 モデルアーキテクチャと蒸留戦略を慎重に構築し,シミュレートされたマルチモーダル蒸留(SimDistill)法を提案する。 我々のSimDistillは、コスト効率のよいカメラのみの配置を維持しながら、3Dオブジェクト検出のためのより良い特徴表現を学習することができる。
  論文  参考訳（メタデータ） (2023-03-29T16:08:59Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
  本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。 提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-12-21T10:48:34Z)
• SGM3D: Stereo Guided Monocular 3D Object Detection [62.11858392862551]
  SGM3Dと呼ばれるステレオ誘導単分子物体検出ネットワークを提案する。 ステレオ画像から抽出したロバストな3次元特徴を利用して、モノクル画像から得られた特徴を強化する。 本手法は,余分な計算コストを伴わずに性能を向上させるために,他の多くの単分子的手法に統合することができる。
  論文  参考訳（メタデータ） (2021-12-03T13:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。