論文の概要: LLM-attacker: Enhancing Closed-loop Adversarial Scenario Generation for Autonomous Driving with Large Language Models

• arxiv url: http://arxiv.org/abs/2501.15850v1
• Date: Mon, 27 Jan 2025 08:18:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:54:18.783162
• Title: LLM-attacker: Enhancing Closed-loop Adversarial Scenario Generation for Autonomous Driving with Large Language Models
• Title（参考訳）: LLM攻撃器:大規模言語モデルを用いた自律走行のための閉ループ逆行シナリオ生成の強化
• Authors: Yuewen Mei, Tong Nie, Jian Sun, Ye Tian,
• Abstract要約: 大規模言語モデル(LLM)を利用したアクセルループ逆シナリオ生成フレームワーク 交通参加者の行動を操作して安全クリティカルな事象を誘発する逆シナリオ生成法が開発されている。 LLM攻撃者は、他の方法よりも危険なシナリオを作成でき、それを用いて訓練されたADSは、通常のシナリオでのトレーニングの半分の衝突率を達成する。
• 参考スコア（独自算出の注目度）: 39.139025989575686
• License:
• Abstract: Ensuring and improving the safety of autonomous driving systems (ADS) is crucial for the deployment of highly automated vehicles, especially in safety-critical events. To address the rarity issue, adversarial scenario generation methods are developed, in which behaviors of traffic participants are manipulated to induce safety-critical events. However, existing methods still face two limitations. First, identification of the adversarial participant directly impacts the effectiveness of the generation. However, the complexity of real-world scenarios, with numerous participants and diverse behaviors, makes identification challenging. Second, the potential of generated safety-critical scenarios to continuously improve ADS performance remains underexplored. To address these issues, we propose LLM-attacker: a closed-loop adversarial scenario generation framework leveraging large language models (LLMs). Specifically, multiple LLM agents are designed and coordinated to identify optimal attackers. Then, the trajectories of the attackers are optimized to generate adversarial scenarios. These scenarios are iteratively refined based on the performance of ADS, forming a feedback loop to improve ADS. Experimental results show that LLM-attacker can create more dangerous scenarios than other methods, and the ADS trained with it achieves a collision rate half that of training with normal scenarios. This indicates the ability of LLM-attacker to test and enhance the safety and robustness of ADS. Video demonstrations are provided at: https://drive.google.com/file/d/1Zv4V3iG7825oyiKbUwS2Y-rR0DQIE1ZA/view.
• Abstract（参考訳）: 自動運転システム(ADS)の安全性の確保と改善は、特に安全クリティカルなイベントにおいて、高度に自動化された車両の配備に不可欠である。 この希少性問題に対処するため,交通参加者の行動を操作して安全クリティカルな事象を誘発する逆シナリオ生成手法を開発した。 しかし、既存の方法には2つの制限がある。 第一に、相手の参加者の識別は、生成の有効性に直接影響を及ぼす。 しかし、多くの参加者と多様な振る舞いを持つ現実世界のシナリオの複雑さは、識別を困難にしている。 第二に、ADSの性能を継続的に改善する安全クリティカルなシナリオが生み出す可能性については、未検討のままである。 これらの問題に対処するために,大規模言語モデル(LLM)を活用した閉ループ対逆シナリオ生成フレームワーク LLM-アタックアタック(LLM-アタック)を提案する。 具体的には、最適な攻撃者を特定するために複数のLLMエージェントを設計・調整する。 そして、攻撃者の軌跡を最適化し、敵のシナリオを生成する。 これらのシナリオは、ADSのパフォーマンスに基づいて反復的に洗練され、ADSを改善するためのフィードバックループを形成します。 実験結果から,LSMアタックは他の手法よりも危険なシナリオを生成できることが示された。 このことは、ALM攻撃者がADSの安全性とロバスト性をテストする能力を示している。 ビデオデモは以下の通り。 https://drive.google.com/file/d/1Zv4V3iG7825oyiKbUwS2Y-rR0DQIE1ZA/view。

関連論文リスト

• MARL-OT: Multi-Agent Reinforcement Learning Guided Online Fuzzing to Detect Safety Violation in Autonomous Driving Systems [1.1677228160050082]
  本稿では、MARLを利用して自律運転システム(ADS)の安全違反を検出するスケーラブルなフレームワークであるMARL-OTを紹介する。 MARL-OTは、高レベルのガイダンスにMARLを採用しており、ルールベースのオンラインファジィザがADSの潜在的な安全違反を調査するために、様々な危険なシナリオを引き起こしている。 本手法は,最新技術(SOTA)試験法と比較して,検出された安全違反率を最大136.2%向上させる。
  論文  参考訳（メタデータ） (2025-01-24T12:34:04Z)
• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• Visual Adversarial Attack on Vision-Language Models for Autonomous Driving [34.520523134588345]
  視覚言語モデル(VLM)は推論能力を高めることにより、かなり高度な自律運転(AD)を持つ。 これらのモデルは、敵の攻撃に対して非常に脆弱なままである。 本稿では,ADVLMに特化して設計された最初の視覚的敵攻撃フレームワークであるADvLMを提案する。
  論文  参考訳（メタデータ） (2024-11-27T12:09:43Z)
• Derail Yourself: Multi-turn LLM Jailbreak Attack through Self-discovered Clues [88.96201324719205]
  本研究では,マルチターンインタラクションにおけるLarge Language Models(LLM)の安全性の脆弱性を明らかにする。 本稿ではアクターネットワーク理論に触発された新しいマルチターン攻撃手法であるActorAttackを紹介する。
  論文  参考訳（メタデータ） (2024-10-14T16:41:49Z)
• SEAL: Towards Safe Autonomous Driving via Skill-Enabled Adversary Learning for Closed-Loop Scenario Generation [13.008446845017454]
  本稿では,学習対象関数と対人的スキルを活用するシナリオアプローチであるSEALを提案する。 SEAL対応のシナリオはSOTAベースラインよりも現実的であり、実世界、流通中、流通外シナリオ間でのエゴタスクの成功の改善につながります。
  論文  参考訳（メタデータ） (2024-09-16T14:33:21Z)
• LMM-enhanced Safety-Critical Scenario Generation for Autonomous Driving System Testing From Non-Accident Traffic Videos [22.638869562921133]
  自律運転システムにとって、さまざまな安全クリティカルなテストシナリオを生成することが最重要である。 事故のない現実のシナリオの中には、ADSの誤動作を引き起こすだけでなく、ADS違反の発生にも活用できるものもある。 通常の交通シナリオからADSの安全違反を発見することが重要である。
  論文  参考訳（メタデータ） (2024-06-16T09:05:56Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
  制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。 提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。 複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
  論文  参考訳（メタデータ） (2023-12-31T04:14:43Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。