論文の概要: LMM-enhanced Safety-Critical Scenario Generation for Autonomous Driving System Testing From Non-Accident Traffic Videos

• arxiv url: http://arxiv.org/abs/2406.10857v2
• Date: Wed, 01 Jan 2025 13:07:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 17:39:12.004835
• Title: LMM-enhanced Safety-Critical Scenario Generation for Autonomous Driving System Testing From Non-Accident Traffic Videos
• Title（参考訳）: 交通映像からの自律走行システムテストのためのLMM強化安全批判シナリオ生成
• Authors: Haoxiang Tian, Xingshuo Han, Yuan Zhou, Guoquan Wu, An Guo, Mingfei Cheng, Shuo Li, Jun Wei, Tianwei Zhang,
• Abstract要約: 自律運転システムにとって、さまざまな安全クリティカルなテストシナリオを生成することが最重要である。 事故のない現実のシナリオの中には、ADSの誤動作を引き起こすだけでなく、ADS違反の発生にも活用できるものもある。 通常の交通シナリオからADSの安全違反を発見することが重要である。
• 参考スコア（独自算出の注目度）: 22.638869562921133
• License:
• Abstract: Safety testing serves as the fundamental pillar for the development of autonomous driving systems (ADSs). To ensure the safety of ADSs, it is paramount to generate a diverse range of safety-critical test scenarios. While existing ADS practitioners primarily focus on reproducing real-world traffic accidents in simulation environments to create test scenarios, it's essential to highlight that many of these accidents do not directly result in safety violations for ADSs due to the differences between human driving and autonomous driving. More importantly, we observe that some accident-free real-world scenarios can not only lead to misbehaviors in ADSs but also be leveraged for the generation of ADS violations during simulation testing. Therefore, it is of significant importance to discover safety violations of ADSs from routine traffic scenarios (i.e., non-crash scenarios). We introduce LEADE, a novel methodology to achieve the above goal. It automatically generates abstract and concrete scenarios from real-traffic videos. Then it optimizes these scenarios to search for safety violations of the ADS in semantically consistent scenarios where human-driving worked safely. Specifically, LEADE enhances the ability of Large Multimodal Models (LMMs) to accurately construct abstract scenarios from traffic videos and generate concrete scenarios by multi-modal few-shot Chain of Thought (CoT). Based on them, LEADE assesses and increases the behavior differences between the ego vehicle and human-driving in semantic equivalent scenarios (here equivalent semantics means that each participant in test scenarios has the same behaviors as those observed in the original real traffic scenarios). We implement and evaluate LEADE on the industrial-grade Level-4 ADS, Apollo.
• Abstract（参考訳）: 安全試験は、自律運転システム(ADS)開発の基本的な柱となっている。 ADSの安全性を確保するために、さまざまな安全クリティカルなテストシナリオを生成することが最重要である。 既存のADS実践者は、シミュレーション環境で現実の交通事故を再現してテストシナリオを作成することに重点を置いているが、これらの事故の多くは、人間の運転と自律運転の違いにより、ADSの安全性に直接違反するものではないことを強調することが不可欠である。 さらに,事故のない実世界のシナリオは,ADSの誤動作を引き起こすだけでなく,シミュレーションテスト中のADS違反の発生にも有効であると考えられる。 したがって、通常の交通シナリオ(すなわち非クラッシュシナリオ)からADSの安全違反を発見することが重要である。 上述の目標を達成するための新しい方法論であるLEADEを紹介します。 リアルタイムビデオから抽象的で具体的なシナリオを自動的に生成する。 そして、これらのシナリオを最適化して、人間の運転が安全に動作するセマンティックな一貫したシナリオにおいて、ADSの安全違反を検索する。 具体的には,LMM(Large Multimodal Models)を活用して,トラフィックビデオから抽象的なシナリオを正確に構築し,マルチモーダルなChain of Thought (CoT)による具体的なシナリオを生成する。 それらに基づいて、LEADEは、エゴ車と人間運転のセマンティックなシナリオにおける振る舞いの違いを評価し、増大させる(ここでは、等価なセマンティクスは、テストシナリオの各参加者が、元の実際の交通シナリオで見られるものと同じ振る舞いを持つことを意味する)。 工業グレードのLevel-4 ADSであるApollo上でLEADEを実装し,評価した。

関連論文リスト

• LLM-attacker: Enhancing Closed-loop Adversarial Scenario Generation for Autonomous Driving with Large Language Models [39.139025989575686]
  大規模言語モデル(LLM)を利用したアクセルループ逆シナリオ生成フレームワーク 交通参加者の行動を操作して安全クリティカルな事象を誘発する逆シナリオ生成法が開発されている。 LLM攻撃者は、他の方法よりも危険なシナリオを作成でき、それを用いて訓練されたADSは、通常のシナリオでのトレーニングの半分の衝突率を達成する。
  論文  参考訳（メタデータ） (2025-01-27T08:18:52Z)
• MARL-OT: Multi-Agent Reinforcement Learning Guided Online Fuzzing to Detect Safety Violation in Autonomous Driving Systems [1.1677228160050082]
  本稿では、MARLを利用して自律運転システム(ADS)の安全違反を検出するスケーラブルなフレームワークであるMARL-OTを紹介する。 MARL-OTは、高レベルのガイダンスにMARLを採用しており、ルールベースのオンラインファジィザがADSの潜在的な安全違反を調査するために、様々な危険なシナリオを引き起こしている。 本手法は,最新技術(SOTA)試験法と比較して,検出された安全違反率を最大136.2%向上させる。
  論文  参考訳（メタデータ） (2025-01-24T12:34:04Z)
• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• SimADFuzz: Simulation-Feedback Fuzz Testing for Autonomous Driving Systems [5.738863204900633]
  SimADFuzzは、自律運転システムにおける違反を明らかにする高品質なシナリオを生成するように設計された、新しいフレームワークである。 SimADFuzzは、シナリオ選択を最適化するために、ADS違反の可能性を評価する違反予測モデルを採用している。 総合的な実験により、SimADFuzzは32以上のユニークな違反を識別することで最先端のファズーより優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-18T12:49:57Z)
• Generating Out-Of-Distribution Scenarios Using Language Models [58.47597351184034]
  大規模言語モデル(LLM)は自動運転において有望であることを示している。 本稿では,多様なOF-Distribution(OOD)駆動シナリオを生成するためのフレームワークを提案する。 我々は、広範囲なシミュレーションを通じてフレームワークを評価し、新しい"OOD-ness"メトリクスを導入する。
  論文  参考訳（メタデータ） (2024-11-25T16:38:17Z)
• Risk Scenario Generation for Autonomous Driving Systems based on Causal Bayesian Networks [4.172581773205466]
  自律運転システム(ADS)におけるシナリオ生成のためのCausal Bayesian Networks(CBN)の利用に向けた新しいパラダイムシフトを提案する。 CBNはメリーランドの事故データを用いて構築され、検証されており、自律運転行動に影響を与える無数の要因について深い洞察を提供する。 CARLAシミュレータを用いて,ADSのエンドツーエンドテストフレームワークを構築した。
  論文  参考訳（メタデータ） (2024-05-25T05:26:55Z)
• PAFOT: A Position-Based Approach for Finding Optimal Tests of Autonomous Vehicles [4.243926243206826]
  本稿では位置に基づくアプローチテストフレームワークであるPAFOTを提案する。 PAFOTは、自動走行システムの安全違反を明らかにするために、敵の運転シナリオを生成する。 PAFOTはADSをクラッシュさせる安全クリティカルなシナリオを効果的に生成し、短いシミュレーション時間で衝突を見つけることができることを示す実験である。
  論文  参考訳（メタデータ） (2024-05-06T10:04:40Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• CAT: Closed-loop Adversarial Training for Safe End-to-End Driving [54.60865656161679]
  Adversarial Training (CAT) は、自動運転車における安全なエンドツーエンド運転のためのフレームワークである。 Catは、安全クリティカルなシナリオでエージェントを訓練することで、運転エージェントの安全性を継続的に改善することを目的としている。 猫は、訓練中のエージェントに対抗する敵シナリオを効果的に生成できる。
  論文  参考訳（メタデータ） (2023-10-19T02:49:31Z)
• Generating and Characterizing Scenarios for Safety Testing of Autonomous Vehicles [86.9067793493874]
  最先端運転シミュレータを用いて,テストシナリオを特徴付け,生成するための効率的なメカニズムを提案する。 次世代シミュレーション(NGSIM)プロジェクトにおける実運転データの特徴付けに本手法を用いる。 事故回避の複雑さに基づいてメトリクスを定義してシナリオをランク付けし、事故発生の可能性を最小限に抑えるための洞察を提供します。
  論文  参考訳（メタデータ） (2021-03-12T17:00:23Z)
• AdvSim: Generating Safety-Critical Scenarios for Self-Driving Vehicles [76.46575807165729]
  我々は,任意のLiDARベースの自律システムに対して,安全クリティカルなシナリオを生成するための,敵対的フレームワークであるAdvSimを提案する。 センサデータから直接シミュレートすることにより、完全な自律スタックに対して安全クリティカルな敵シナリオを得る。
  論文  参考訳（メタデータ） (2021-01-16T23:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。