論文の概要: Temporal Misalignment Attacks against Multimodal Perception in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2507.09095v2
• Date: Wed, 01 Oct 2025 13:29:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-02 14:33:21.6648
• Title: Temporal Misalignment Attacks against Multimodal Perception in Autonomous Driving
• Title（参考訳）: 自律運転におけるマルチモーダル知覚に対する時間的ミスアライメント攻撃
• Authors: Md Hasan Shahriar, Md Mohaimin Al Barat, Harshavardhan Sundar, Ning Zhang, Naren Ramakrishnan, Y. Thomas Hou, Wenjing Lou,
• Abstract要約: DejaVuは車載ネットワークを利用して、センサストリーム間の遅延を誘導し、微妙な時間的ミスアライメントを生成する攻撃である。 包括的攻撃分析により,センサのタスク特異的な不均衡感が明らかになった。 シングルフレームのLiDAR遅延では、攻撃者は車検出のmAPを最大88.5%削減し、3フレームのカメラ遅延、車滴の多重物体追跡精度(MOTA)を73%削減できる。
• 参考スコア（独自算出の注目度）: 23.83773255227831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal fusion (MMF) plays a critical role in the perception of autonomous driving, which primarily fuses camera and LiDAR streams for a comprehensive and efficient scene understanding. However, its strict reliance on precise temporal synchronization exposes it to new vulnerabilities. In this paper, we introduce DejaVu, an attack that exploits the in-vehicular network and induces delays across sensor streams to create subtle temporal misalignments, severely degrading downstream MMF-based perception tasks. Our comprehensive attack analysis across different models and datasets reveals the sensors' task-specific imbalanced sensitivities: object detection is overly dependent on LiDAR inputs, while object tracking is highly reliant on the camera inputs. Consequently, with a single-frame LiDAR delay, an attacker can reduce the car detection mAP by up to 88.5%, while with a three-frame camera delay, multiple object tracking accuracy (MOTA) for car drops by 73%. We further demonstrated two attack scenarios using an automotive Ethernet testbed for hardware-in-the-loop validation and the Autoware stack for end-to-end AD simulation, demonstrating the feasibility of the DejaVu attack and its severe impact, such as collisions and phantom braking.
• Abstract（参考訳）: マルチモーダルフュージョン(MMF)は、カメラとLiDARストリームを融合させて総合的で効率的なシーン理解を実現する自律運転の知覚において重要な役割を担っている。 しかし、その正確な時間同期への厳格な依存は、新たな脆弱性を露呈する。 本稿では,車内ネットワークを利用してセンサストリーム間の遅延を誘導し,微妙な時間的ずれを生じさせ,下流MMFに基づく知覚タスクを著しく劣化させるDejaVuを提案する。 オブジェクト検出はLiDAR入力に過度に依存するが、オブジェクト追跡はカメラ入力に非常に依存している。 その結果、シングルフレームのLiDAR遅延により、攻撃者は車検出mAPを最大88.5%削減し、3フレームのカメラ遅延、車滴の多重物体追跡精度(MOTA)を73%削減できる。 さらに,ハードウェア・イン・ループ検証のためのEthernetテストベッドと,エンド・ツー・エンドのADシミュレーションのためのAutowareスタックを用いて,DejaVu攻撃の可能性と,衝突やファントムブレーキなどの深刻な影響を示す2つの攻撃シナリオを実証した。

関連論文リスト

• AD$^2$: Analysis and Detection of Adversarial Threats in Visual Perception for End-to-End Autonomous Driving Systems [7.505610942484861]
  本研究では,CARLAにおけるブラックボックスの敵対的脅威モデルの下で,最先端の自律走行エージェントの閉ループ評価を行う。 視覚知覚パイプラインにおける3つの代表的な攻撃ベクトルについて考察する: (i) 音波によって誘発される物理ベースのぼかし攻撃、 (ii) 捉えた画像を歪ませる電磁干渉攻撃、 (iii) ゴーストオブジェクトを画像上に慎重に構築した有界摂動として付加するデジタル攻撃。 TransfuserとInterfuserという2つの高度なエージェントの実験では、そのような攻撃に対する深刻な脆弱性が明らかとなり、運転スコアは最大99%低下した。
  論文  参考訳（メタデータ） (2026-02-10T05:13:37Z)
• Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving [55.96227460521096]
  視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。 本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。 我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
  論文  参考訳（メタデータ） (2025-05-09T20:28:17Z)
• Deep Learning-Based Robust Multi-Object Tracking via Fusion of mmWave Radar and Camera Sensors [6.166992288822812]
  複雑なトラフィックシナリオを通じて、より安全で効率的なナビゲーションを実現する上で、マルチオブジェクトトラッキングは重要な役割を果たす。 本稿では,自律走行システムにおける複数物体追跡の精度とロバスト性を高めるために,レーダデータとカメラデータを統合した新しいディープラーニング方式を提案する。
  論文  参考訳（メタデータ） (2024-07-10T21:09:09Z)
• StreamLTS: Query-based Temporal-Spatial LiDAR Fusion for Cooperative Object Detection [0.552480439325792]
  我々は、広く使われているデータセットOPV2VとDairV2Xを適応させる、TA-COOD(Time-Aligned Cooperative Object Detection)を提案する。 実験結果から, 最先端の高密度モデルと比較して, 完全スパースフレームワークの優れた効率性が確認された。
  論文  参考訳（メタデータ） (2024-07-04T10:56:10Z)
• Ego-Motion Aware Target Prediction Module for Robust Multi-Object Tracking [2.7898966850590625]
  我々は、Ego-motion Aware Target Prediction (EMAP)と呼ばれる新しいKFベースの予測モジュールを導入する。 提案手法は、カルマンフィルタを再構成することにより、物体軌道からのカメラ回転速度と翻訳速度の影響を分離する。 EMAPはOC-SORTとDeep OC-SORTのIDSWをそれぞれ73%と21%減少させる。
  論文  参考訳（メタデータ） (2024-04-03T23:24:25Z)
• ADoPT: LiDAR Spoofing Attack Detection Based on Point-Level Temporal Consistency [11.160041268858773]
  ディープニューラルネットワーク(DNN)は、自動運転車(AV)のためのLiDARベースの知覚システムにますます統合されている 我々は,攻撃者がLiDARデータに偽のオブジェクトを注入し,その環境を誤解釈して誤った判断を下すという,LiDAR偽造攻撃の課題に対処することを目指している。 ADoPT (Anomaly Detection based on Point-level Temporal consistency) は、連続するフレーム間の時間的一貫性を定量的に測定し、ポイントクラスタのコヒーレンシーに基づいて異常物体を同定する。 nuScenesデータセットを用いた評価では、アルゴリズムは様々なLiDARスプーフィング攻撃に対して効果的に対応し、低(低)を実現している。
  論文  参考訳（メタデータ） (2023-10-23T02:31:31Z)
• Real-Time Driver Monitoring Systems through Modality and View Analysis [28.18784311981388]
  ドライバーの気晴らしが道路事故の主要な原因であることが知られている。 State-of-the-artメソッドはレイテンシを無視しながら精度を優先する。 本稿では,ビデオフレーム間の時間的関係を無視した時間効率な検出モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-17T21:22:41Z)
• Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in Driving Scenes [82.4186966781934]
  Ret3Dと呼ばれるシンプルで効率的で効果的な2段階検出器を導入する。 Ret3Dの中核は、新しいフレーム内およびフレーム間関係モジュールの利用である。 無視できる余分なオーバーヘッドにより、Ret3Dは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-18T03:48:58Z)
• StreamYOLO: Real-time Object Detection for Streaming Perception [84.2559631820007]
  将来を予測する能力を備えたモデルを提供し、ストリーミング知覚の結果を大幅に改善する。 本稿では,複数の速度を駆動するシーンについて考察し,VasAP(Velocity-Awared streaming AP)を提案する。 本手法は,Argoverse-HDデータセットの最先端性能を実現し,SAPとVsAPをそれぞれ4.7%,VsAPを8.2%改善する。
  論文  参考訳（メタデータ） (2022-07-21T12:03:02Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation [68.8204255655161]
  識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。 通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。 その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T14:07:55Z)
• Efficient and Robust LiDAR-Based End-to-End Navigation [132.52661670308606]
  我々は,LiDARをベースとした効率的なエンドツーエンドナビゲーションフレームワークを提案する。 本稿では,スパース畳み込みカーネル最適化とハードウェア対応モデル設計に基づくFast-LiDARNetを提案する。 次に,単一の前方通過のみから予測の不確かさを直接推定するハイブリッド・エビデンシャル・フュージョンを提案する。
  論文  参考訳（メタデータ） (2021-05-20T17:52:37Z)
• Fooling LiDAR Perception via Adversarial Trajectory Perturbation [13.337443990751495]
  移動車両から集められたLiDARポイント雲は、歪みを避けるためにセンサーの動きを補償する必要があるため、その軌道の機能です。 その結果、深層学習とGPSによる車両軌道推定の両面から、運動補償は広範に開放されたバックドアになるのだろうか? 我々は、初めてこのような可能性を示す: 生のLiDARの読みを改ざんする必要のある点雲座標を直接攻撃するのではなく、小さな摂動で自動運転車の軌道を逆さまに振るだけで十分である。
  論文  参考訳（メタデータ） (2021-03-29T04:34:31Z)
• Exploiting Playbacks in Unsupervised Domain Adaptation for 3D Object Detection [55.12894776039135]
  ディープラーニングに基づく最先端の3Dオブジェクト検出器は、有望な精度を示しているが、ドメインの慣用性に過度に適合する傾向がある。 対象領域の擬似ラベルの検出器を微調整することで,このギャップを大幅に削減する新たな学習手法を提案する。 5つの自律運転データセットにおいて、これらの擬似ラベル上の検出器を微調整することで、新しい運転環境への領域ギャップを大幅に減らすことを示す。
  論文  参考訳（メタデータ） (2021-03-26T01:18:11Z)
• IntentNet: Learning to Predict Intention from Raw Sensor Data [86.74403297781039]
  本論文では,LiDARセンサが生成する3次元点群と,環境の動的なマップの両方を利用するワンステージ検出器と予測器を開発した。 当社のマルチタスクモデルは、それぞれの別々のモジュールよりも高い精度を実現し、計算を節約します。
  論文  参考訳（メタデータ） (2021-01-20T00:31:52Z)
• Exploring Adversarial Robustness of Multi-Sensor Perception Systems in Self Driving [87.3492357041748]
  本稿では,敵物体をホスト車両の上に配置することで,マルチセンサ検出の実用的感受性を示す。 実験の結果, 攻撃が成功した原因は主に画像の特徴が損なわれやすいことが判明した。 よりロバストなマルチモーダル知覚システムに向けて,特徴分断を伴う敵対的訓練が,このような攻撃に対するロバスト性を大幅に高めることを示す。
  論文  参考訳（メタデータ） (2021-01-17T21:15:34Z)
• R-TOD: Real-Time Object Detector with Minimized End-to-End Delay for Autonomous Driving [3.366875318492424]
  本稿では、エンドツーエンドの遅延をより包括的に理解することを目的としている。 i)オンデマンドキャプチャ、ii)ゼロスラックパイプライン、iii)競合のないパイプラインの3つの最適化手法が実装されている。 実験の結果,Darknet YOLO v3のエンド・ツー・エンド遅延は76%減少した。
  論文  参考訳（メタデータ） (2020-10-23T01:03:46Z)
• Streaming Object Detection for 3-D Point Clouds [29.465873948076766]
  LiDARは、多くの既存の知覚システムに通知する顕著な感覚モダリティを提供する。 ポイントクラウドデータに基づく知覚システムのレイテンシは、完全なローテーションスキャンの時間量によって支配される。 我々は、LiDARデータをそのネイティブストリーミング定式化で操作することで、自動運転オブジェクト検出にいくつかの利点があることを示す。
  論文  参考訳（メタデータ） (2020-05-04T21:55:15Z)
• Physically Realizable Adversarial Examples for LiDAR Object Detection [72.0017682322147]
  本稿では,LiDAR検出器を騙すために,汎用な3次元対向物体を生成する手法を提案する。 特に,LiDAR検出器から車両を完全に隠蔽するために,車両の屋根上に対向物体を配置し,その成功率は80%であることを示した。 これは、限られたトレーニングデータから見知らぬ条件下での、より安全な自動運転への一歩だ。
  論文  参考訳（メタデータ） (2020-04-01T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。