論文の概要: On the Fragility of Multimodal Perception to Temporal Misalignment in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2507.09095v1
• Date: Sat, 12 Jul 2025 00:44:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:22.367624
• Title: On the Fragility of Multimodal Perception to Temporal Misalignment in Autonomous Driving
• Title（参考訳）: 自律運転における時間的過誤に対するマルチモーダル知覚の脆弱性について
• Authors: Md Hasan Shahriar, Md Mohaimin Al Barat, Harshavardhan Sundar, Naren Ramakrishnan, Y. Thomas Hou, Wenjing Lou,
• Abstract要約: DejaVuは、ネットワークによって引き起こされる遅延を利用して、センサストリーム間の微妙な時間的ミスアライメントを生成する新しい攻撃である。 シングルフレームのLiDAR遅延では、攻撃者は車検出のmAPを最大88.5%削減し、3フレームのカメラ遅延、車滴の多重物体追跡精度(MOTA)を73%削減できる。 本研究では,従来の知覚モデルと協調して時間的整合性を監視するパッチであるAIONを提案する。
• 参考スコア（独自算出の注目度）: 26.809693071623272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal fusion (MMF) plays a critical role in the perception of autonomous driving, which primarily fuses camera and LiDAR streams for a comprehensive and efficient scene understanding. However, its strict reliance on precise temporal synchronization exposes it to new vulnerabilities. In this paper, we introduce DejaVu, a novel attack that exploits network-induced delays to create subtle temporal misalignments across sensor streams, severely degrading downstream MMF-based perception tasks. Our comprehensive attack analysis across different models and datasets reveals these sensors' task-specific imbalanced sensitivities: object detection is overly dependent on LiDAR inputs while object tracking is highly reliant on the camera inputs. Consequently, with a single-frame LiDAR delay, an attacker can reduce the car detection mAP by up to 88.5%, while with a three-frame camera delay, multiple object tracking accuracy (MOTA) for car drops by 73%. To detect such attacks, we propose AION, a defense patch that can work alongside the existing perception model to monitor temporal alignment through cross-modal temporal consistency. AION leverages multimodal shared representation learning and dynamic time warping to determine the path of temporal alignment and calculate anomaly scores based on the alignment. Our thorough evaluation of AION shows it achieves AUROC scores of 0.92-0.98 with low false positives across datasets and model architectures, demonstrating it as a robust and generalized defense against the temporal misalignment attacks.
• Abstract（参考訳）: マルチモーダルフュージョン(MMF)は、カメラとLiDARストリームを融合させて総合的で効率的なシーン理解を実現する自律運転の知覚において重要な役割を担っている。 しかし、その正確な時間同期への厳格な依存は、新たな脆弱性を露呈する。 本稿では,センサストリーム間の微妙な時間的ミスアライメントを生成するために,ネットワーク遅延を利用した新しい攻撃であるDejaVuを紹介する。 オブジェクト検出はLiDAR入力に過度に依存するが、オブジェクト追跡はカメラ入力に非常に依存している。 その結果、シングルフレームのLiDAR遅延により、攻撃者は車検出mAPを最大88.5%削減し、3フレームのカメラ遅延、車滴の多重物体追跡精度(MOTA)を73%削減できる。 このような攻撃を検知するために,既存の知覚モデルと協調して動作可能な防御パッチであるAIONを提案し,時間的時間的整合性を通じて時間的アライメントを監視する。 AIONはマルチモーダル共有表現学習と動的時間ワープを活用して、時間的アライメントの経路を決定し、アライメントに基づいて異常スコアを算出する。 AIONの徹底的な評価は、データセットとモデルアーキテクチャ間の偽陽性が低く、AUROCスコアが0.92-0.98であることを示し、時間的ミスアライメント攻撃に対する堅牢で一般的な防御であることを示した。

関連論文リスト

• Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving [55.96227460521096]
  視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。 本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。 我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
  論文  参考訳（メタデータ） (2025-05-09T20:28:17Z)
• StreamLTS: Query-based Temporal-Spatial LiDAR Fusion for Cooperative Object Detection [0.552480439325792]
  我々は、広く使われているデータセットOPV2VとDairV2Xを適応させる、TA-COOD(Time-Aligned Cooperative Object Detection)を提案する。 実験結果から, 最先端の高密度モデルと比較して, 完全スパースフレームワークの優れた効率性が確認された。
  論文  参考訳（メタデータ） (2024-07-04T10:56:10Z)
• Ego-Motion Aware Target Prediction Module for Robust Multi-Object Tracking [2.7898966850590625]
  我々は、Ego-motion Aware Target Prediction (EMAP)と呼ばれる新しいKFベースの予測モジュールを導入する。 提案手法は、カルマンフィルタを再構成することにより、物体軌道からのカメラ回転速度と翻訳速度の影響を分離する。 EMAPはOC-SORTとDeep OC-SORTのIDSWをそれぞれ73%と21%減少させる。
  論文  参考訳（メタデータ） (2024-04-03T23:24:25Z)
• ADoPT: LiDAR Spoofing Attack Detection Based on Point-Level Temporal Consistency [11.160041268858773]
  ディープニューラルネットワーク(DNN)は、自動運転車(AV)のためのLiDARベースの知覚システムにますます統合されている 我々は,攻撃者がLiDARデータに偽のオブジェクトを注入し,その環境を誤解釈して誤った判断を下すという,LiDAR偽造攻撃の課題に対処することを目指している。 ADoPT (Anomaly Detection based on Point-level Temporal consistency) は、連続するフレーム間の時間的一貫性を定量的に測定し、ポイントクラスタのコヒーレンシーに基づいて異常物体を同定する。 nuScenesデータセットを用いた評価では、アルゴリズムは様々なLiDARスプーフィング攻撃に対して効果的に対応し、低(低)を実現している。
  論文  参考訳（メタデータ） (2023-10-23T02:31:31Z)
• Real-Time Driver Monitoring Systems through Modality and View Analysis [28.18784311981388]
  ドライバーの気晴らしが道路事故の主要な原因であることが知られている。 State-of-the-artメソッドはレイテンシを無視しながら精度を優先する。 本稿では,ビデオフレーム間の時間的関係を無視した時間効率な検出モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-17T21:22:41Z)
• Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in Driving Scenes [82.4186966781934]
  Ret3Dと呼ばれるシンプルで効率的で効果的な2段階検出器を導入する。 Ret3Dの中核は、新しいフレーム内およびフレーム間関係モジュールの利用である。 無視できる余分なオーバーヘッドにより、Ret3Dは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-18T03:48:58Z)
• StreamYOLO: Real-time Object Detection for Streaming Perception [84.2559631820007]
  将来を予測する能力を備えたモデルを提供し、ストリーミング知覚の結果を大幅に改善する。 本稿では,複数の速度を駆動するシーンについて考察し,VasAP(Velocity-Awared streaming AP)を提案する。 本手法は,Argoverse-HDデータセットの最先端性能を実現し,SAPとVsAPをそれぞれ4.7%,VsAPを8.2%改善する。
  論文  参考訳（メタデータ） (2022-07-21T12:03:02Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation [68.8204255655161]
  識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。 通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。 その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T14:07:55Z)
• Streaming Object Detection for 3-D Point Clouds [29.465873948076766]
  LiDARは、多くの既存の知覚システムに通知する顕著な感覚モダリティを提供する。 ポイントクラウドデータに基づく知覚システムのレイテンシは、完全なローテーションスキャンの時間量によって支配される。 我々は、LiDARデータをそのネイティブストリーミング定式化で操作することで、自動運転オブジェクト検出にいくつかの利点があることを示す。
  論文  参考訳（メタデータ） (2020-05-04T21:55:15Z)
• Physically Realizable Adversarial Examples for LiDAR Object Detection [72.0017682322147]
  本稿では,LiDAR検出器を騙すために,汎用な3次元対向物体を生成する手法を提案する。 特に,LiDAR検出器から車両を完全に隠蔽するために,車両の屋根上に対向物体を配置し,その成功率は80%であることを示した。 これは、限られたトレーニングデータから見知らぬ条件下での、より安全な自動運転への一歩だ。
  論文  参考訳（メタデータ） (2020-04-01T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。