論文の概要: LLM-attacker: Enhancing Closed-loop Adversarial Scenario Generation for Autonomous Driving with Large Language Models

• arxiv url: http://arxiv.org/abs/2501.15850v1
• Date: Mon, 27 Jan 2025 08:18:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:54:18.783162
• Title: LLM-attacker: Enhancing Closed-loop Adversarial Scenario Generation for Autonomous Driving with Large Language Models
• Title（参考訳）: LLM攻撃器:大規模言語モデルを用いた自律走行のための閉ループ逆行シナリオ生成の強化
• Authors: Yuewen Mei, Tong Nie, Jian Sun, Ye Tian,
• Abstract要約: 大規模言語モデル(LLM)を利用したアクセルループ逆シナリオ生成フレームワーク 交通参加者の行動を操作して安全クリティカルな事象を誘発する逆シナリオ生成法が開発されている。 LLM攻撃者は、他の方法よりも危険なシナリオを作成でき、それを用いて訓練されたADSは、通常のシナリオでのトレーニングの半分の衝突率を達成する。
• 参考スコア（独自算出の注目度）: 39.139025989575686
• License:
• Abstract: Ensuring and improving the safety of autonomous driving systems (ADS) is crucial for the deployment of highly automated vehicles, especially in safety-critical events. To address the rarity issue, adversarial scenario generation methods are developed, in which behaviors of traffic participants are manipulated to induce safety-critical events. However, existing methods still face two limitations. First, identification of the adversarial participant directly impacts the effectiveness of the generation. However, the complexity of real-world scenarios, with numerous participants and diverse behaviors, makes identification challenging. Second, the potential of generated safety-critical scenarios to continuously improve ADS performance remains underexplored. To address these issues, we propose LLM-attacker: a closed-loop adversarial scenario generation framework leveraging large language models (LLMs). Specifically, multiple LLM agents are designed and coordinated to identify optimal attackers. Then, the trajectories of the attackers are optimized to generate adversarial scenarios. These scenarios are iteratively refined based on the performance of ADS, forming a feedback loop to improve ADS. Experimental results show that LLM-attacker can create more dangerous scenarios than other methods, and the ADS trained with it achieves a collision rate half that of training with normal scenarios. This indicates the ability of LLM-attacker to test and enhance the safety and robustness of ADS. Video demonstrations are provided at: https://drive.google.com/file/d/1Zv4V3iG7825oyiKbUwS2Y-rR0DQIE1ZA/view.
• Abstract（参考訳）: 自動運転システム(ADS)の安全性の確保と改善は、特に安全クリティカルなイベントにおいて、高度に自動化された車両の配備に不可欠である。 この希少性問題に対処するため,交通参加者の行動を操作して安全クリティカルな事象を誘発する逆シナリオ生成手法を開発した。 しかし、既存の方法には2つの制限がある。 第一に、相手の参加者の識別は、生成の有効性に直接影響を及ぼす。 しかし、多くの参加者と多様な振る舞いを持つ現実世界のシナリオの複雑さは、識別を困難にしている。 第二に、ADSの性能を継続的に改善する安全クリティカルなシナリオが生み出す可能性については、未検討のままである。 これらの問題に対処するために,大規模言語モデル(LLM)を活用した閉ループ対逆シナリオ生成フレームワーク LLM-アタックアタック(LLM-アタック)を提案する。 具体的には、最適な攻撃者を特定するために複数のLLMエージェントを設計・調整する。 そして、攻撃者の軌跡を最適化し、敵のシナリオを生成する。 これらのシナリオは、ADSのパフォーマンスに基づいて反復的に洗練され、ADSを改善するためのフィードバックループを形成します。 実験結果から,LSMアタックは他の手法よりも危険なシナリオを生成できることが示された。 このことは、ALM攻撃者がADSの安全性とロバスト性をテストする能力を示している。 ビデオデモは以下の通り。 https://drive.google.com/file/d/1Zv4V3iG7825oyiKbUwS2Y-rR0DQIE1ZA/view。

関連論文リスト

• CRASH: Challenging Reinforcement-Learning Based Adversarial Scenarios For Safety Hardening [16.305837225117607]
  本稿では, CRASH - Challenging Reinforcement-learning based Adversarial scenarios for Safety Hardeningを紹介する。 第1のCRASHは、Ego車両との衝突を自動的に誘導するために、AVシミュレータ内のNon Player Character(NPC)エージェントを制御することができる。 我々はまた、敵エージェントに対する改善シナリオをシミュレートすることで、運動プランナーを反復的に洗練する安全硬化という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-26T00:00:27Z)
• Steering Away from Harm: An Adaptive Approach to Defending Vision Language Model Against Jailbreaks [16.508109544083496]
  視覚言語モデル(VLM)は、敵の攻撃にさらされると意図しない有害なコンテンツを生成できる。 既存の防御(例えば、入力前処理、敵の訓練、応答評価に基づく手法)は、実世界の展開には実用的ではないことが多い。 本稿では,VLM攻撃に対する対向的特徴方向からモデルを誘導し,効果的かつ効果的な防御法であるASTRAを提案する。
  論文  参考訳（メタデータ） (2024-11-23T02:17:17Z)
• Derail Yourself: Multi-turn LLM Jailbreak Attack through Self-discovered Clues [88.96201324719205]
  本研究では,マルチターンインタラクションにおけるLarge Language Models(LLM)の安全性の脆弱性を明らかにする。 本稿ではアクターネットワーク理論に触発された新しいマルチターン攻撃手法であるActorAttackを紹介する。
  論文  参考訳（メタデータ） (2024-10-14T16:41:49Z)
• SEAL: Towards Safe Autonomous Driving via Skill-Enabled Adversary Learning for Closed-Loop Scenario Generation [13.008446845017454]
  学習したスコアリング機能と対人的スキルを活用するシナリオアプローチであるSEALを提案する。 SEAL対応のシナリオはSOTAベースラインよりも現実的であり、実世界、流通中、流通外シナリオ間でのエゴタスクの成功の改善につながります。
  論文  参考訳（メタデータ） (2024-09-16T14:33:21Z)
• LMM-enhanced Safety-Critical Scenario Generation for Autonomous Driving System Testing From Non-Accident Traffic Videos [22.638869562921133]
  自律運転システムにとって、さまざまな安全クリティカルなテストシナリオを生成することが最重要である。 事故のない現実のシナリオの中には、ADSの誤動作を引き起こすだけでなく、ADS違反の発生にも活用できるものもある。 通常の交通シナリオからADSの安全違反を発見することが重要である。
  論文  参考訳（メタデータ） (2024-06-16T09:05:56Z)
• Learning diverse attacks on large language models for robust red-teaming and safety tuning [126.32539952157083]
  レッドチーム、あるいは有害な応答を誘発するプロンプトの特定は、大きな言語モデルの安全なデプロイを保証するための重要なステップである。 新規性と多様性を優先する明確な規則化であっても、既存のアプローチはモード崩壊または効果的な攻撃を発生させることができないことを示す。 我々は,GFlowNetの微調整と二次平滑化フェーズを用いて,多種多様な効果的な攻撃プロンプトを生成するために攻撃モデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2024-05-28T19:16:17Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
  制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。 提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。 複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
  論文  参考訳（メタデータ） (2023-12-31T04:14:43Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• Trojan Activation Attack: Red-Teaming Large Language Models using Activation Steering for Safety-Alignment [31.24530091590395]
  本研究では,大規模言語モデルの活性化層にトロイの木馬ステアリングベクトルを注入する,Trojan Activation Attack (TA2) と呼ばれる攻撃シナリオについて検討する。 実験の結果,TA2は高効率であり,攻撃効率のオーバーヘッドがほとんどあるいは全くないことがわかった。
  論文  参考訳（メタデータ） (2023-11-15T23:07:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。