論文の概要: Attacking Autonomous Driving Agents with Adversarial Machine Learning: A Holistic Evaluation with the CARLA Leaderboard
- arxiv url: http://arxiv.org/abs/2511.14876v1
- Date: Tue, 18 Nov 2025 19:49:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-20 15:51:28.508388
- Title: Attacking Autonomous Driving Agents with Adversarial Machine Learning: A Holistic Evaluation with the CARLA Leaderboard
- Title(参考訳): 対人機械学習による自律運転エージェントの攻撃:CARLAリーダーボードによる全体的評価
- Authors: Henry Wong, Clement Fung, Weiran Lin, Karen Li, Stanley Chen, Lujo Bauer,
- Abstract要約: 我々は、MLモデルに対して単独で攻撃するのではなく、様々な運転エージェントに対する攻撃を評価する。
我々は、運転エージェントを停止またはステアリングするために設計された敵パッチを作成し、実行時にそれをCARLAシミュレータにストリームし、CARLA Leaderboardのエージェントに対して評価する。
いくつかの攻撃はMLモデルを誤って停止または操縦するコマンドを予測することに成功しているが、一部の駆動エージェントはPID制御やGPSベースのルールなどのモジュールを使用しており、MLモデルから攻撃者が操作する予測をオーバーロードすることができる。
- 参考スコア(独自算出の注目度): 8.45711173703347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To autonomously control vehicles, driving agents use outputs from a combination of machine-learning (ML) models, controller logic, and custom modules. Although numerous prior works have shown that adversarial examples can mislead ML models used in autonomous driving contexts, it remains unclear if these attacks are effective at producing harmful driving actions for various agents, environments, and scenarios. To assess the risk of adversarial examples to autonomous driving, we evaluate attacks against a variety of driving agents, rather than against ML models in isolation. To support this evaluation, we leverage CARLA, an urban driving simulator, to create and evaluate adversarial examples. We create adversarial patches designed to stop or steer driving agents, stream them into the CARLA simulator at runtime, and evaluate them against agents from the CARLA Leaderboard, a public repository of best-performing autonomous driving agents from an annual research competition. Unlike prior work, we evaluate attacks against autonomous driving systems without creating or modifying any driving-agent code and against all parts of the agent included with the ML model. We perform a case-study investigation of two attack strategies against three open-source driving agents from the CARLA Leaderboard across multiple driving scenarios, lighting conditions, and locations. Interestingly, we show that, although some attacks can successfully mislead ML models into predicting erroneous stopping or steering commands, some driving agents use modules, such as PID control or GPS-based rules, that can overrule attacker-manipulated predictions from ML models.
- Abstract(参考訳): 自動運転車を自律的に制御するために、駆動エージェントは機械学習(ML)モデル、コントローラロジック、カスタムモジュールの組み合わせから出力を使用する。
多くの先行研究は、敵の例が自律運転の文脈で使用されるMLモデルを誤解させる可能性があることを示したが、これらの攻撃が様々なエージェント、環境、シナリオに対して有害な運転行動を引き起こすのに有効かどうかは不明である。
自律運転に対する敵対例のリスクを評価するため,MLモデルに対して単独で攻撃するのではなく,様々な運転エージェントに対する攻撃を評価する。
この評価を支援するために,都市の運転シミュレータであるCARLAを用いて,敵対的な例を作成し,評価する。
我々は、運転エージェントを停止またはステアリングするために設計された敵パッチを作成し、実行時にCARLAシミュレータにそれらをストリームし、年間研究コンペティションの最高の自律運転エージェントの公開リポジトリであるCARLA Leaderboardのエージェントに対してそれらを評価する。
従来とは違って,運転エージェントコードの作成や修正を行うことなく,MLモデルに含まれるエージェントのすべての部分に対する自律走行システムに対する攻撃を評価する。
我々は、複数の運転シナリオ、照明条件、場所にわたって、CARLA Leaderboardから3つのオープンソース運転エージェントに対する2つの攻撃戦略をケーススタディで調査する。
興味深いことに、いくつかの攻撃はMLモデルを誤って停止またはステアリングコマンドを予測することに成功しているが、一部の運転エージェントはPID制御やGPSベースのルールなどのモジュールを使用しており、MLモデルから攻撃者が操作する予測をオーバーロードすることができる。
関連論文リスト
- SPACeR: Self-Play Anchoring with Centralized Reference Models [50.55045557371374]
Simエージェントポリシーは、現実的で、人間らしく、高速で、マルチエージェント設定でスケーラブルである。
大規模な拡散モデルやトークン化モデルを用いた模倣学習の最近の進歩は、人間の運転データから直接行動を把握することができることを示している。
本研究では,事前訓練されたトークン化自己回帰運動モデルを利用したSPACeRを提案する。
論文 参考訳(メタデータ) (2025-10-20T19:53:02Z) - Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。
我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
論文 参考訳(メタデータ) (2025-10-10T15:12:44Z) - CHARMS: A Cognitive Hierarchical Agent for Reasoning and Motion Stylization in Autonomous Driving [7.672737334176452]
本稿では,共振・運動スティリゼーションのための認知階層的エージェントを提案する。
CHARMSは、強化学習事前訓練と教師付き微調整を含む2段階のトレーニングパイプラインを通じて、人間に似た推論パターンをキャプチャする。
インテリジェントな運転決定をエゴ車として行い、環境車両として多様な現実的な運転シナリオを生成することができる。
論文 参考訳(メタデータ) (2025-04-03T10:15:19Z) - ManeuverGPT Agentic Control for Safe Autonomous Stunt Maneuvers [0.0]
本稿では,自律走行車における高ダイナミックなスタント動作の生成と実行のための新しいフレームワークManeuverGPTを提案する。
3つの特殊エージェントからなるエージェントアーキテクチャを提案する。
実験により、複数の車両モデル間でのJターン実行が成功した。
論文 参考訳(メタデータ) (2025-03-12T03:51:41Z) - Physical Backdoor Attack can Jeopardize Driving with Vision-Large-Language Models [53.701148276912406]
Vision-Large-Language-models (VLMs) は自動運転において大きな応用可能性を持っている。
BadVLMDriverは、物理的オブジェクトを使用して実際に起動できる自動運転のためのVLMに対する最初のバックドア攻撃である。
BadVLMDriverは、赤い風船を持った歩行者に突如、加速を誘導する攻撃の成功率を92%達成する。
論文 参考訳(メタデータ) (2024-04-19T14:40:38Z) - DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral
Planning States for Autonomous Driving [69.82743399946371]
DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。
モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。
このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
論文 参考訳(メタデータ) (2023-12-14T18:59:05Z) - Attacks and Faults Injection in Self-Driving Agents on the Carla
Simulator -- Experience Report [1.933681537640272]
運転シミュレーター内を走行する自動運転エージェントにおける敵攻撃とソフトウェア障害の注入について報告する。
訓練されたエージェントに敵の攻撃や障害が注入された場合、誤った判断を下し、安全性を著しく損なう可能性があることを示す。
論文 参考訳(メタデータ) (2022-02-25T21:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。