論文の概要: Realistic Corner Case Generation for Autonomous Vehicles with Multimodal Large Language Model

• arxiv url: http://arxiv.org/abs/2412.00243v1
• Date: Fri, 29 Nov 2024 20:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:14.906018
• Title: Realistic Corner Case Generation for Autonomous Vehicles with Multimodal Large Language Model
• Title（参考訳）: マルチモーダル大言語モデルを用いた自律走行車両の現実的コーナーケース生成
• Authors: Qiujing Lu, Meng Ma, Ximiao Dai, Xuanhan Wang, Shuo Feng,
• Abstract要約: AutoScenarioは、現実的なコーナーケース生成のためのフレームワークである。 複数の情報源からの安全クリティカルな現実世界データをテキスト表現に変換する。 シミュレーション・オブ・アーバンモビリティ(SUMO)とCARLAシミュレータのツールを統合している。
• 参考スコア（独自算出の注目度）: 10.741225574706
• License:
• Abstract: To guarantee the safety and reliability of autonomous vehicle (AV) systems, corner cases play a crucial role in exploring the system's behavior under rare and challenging conditions within simulation environments. However, current approaches often fall short in meeting diverse testing needs and struggle to generalize to novel, high-risk scenarios that closely mirror real-world conditions. To tackle this challenge, we present AutoScenario, a multimodal Large Language Model (LLM)-based framework for realistic corner case generation. It converts safety-critical real-world data from multiple sources into textual representations, enabling the generalization of key risk factors while leveraging the extensive world knowledge and advanced reasoning capabilities of LLMs.Furthermore, it integrates tools from the Simulation of Urban Mobility (SUMO) and CARLA simulators to simplify and execute the code generated by LLMs. Our experiments demonstrate that AutoScenario can generate realistic and challenging test scenarios, precisely tailored to specific testing requirements or textual descriptions. Additionally, we validated its ability to produce diverse and novel scenarios derived from multimodal real-world data involving risky situations, harnessing the powerful generalization capabilities of LLMs to effectively simulate a wide range of corner cases.
• Abstract（参考訳）: 自律走行車(AV)システムの安全性と信頼性を保証するため、コーナーケースはシミュレーション環境内の稀で困難な条件下でシステムの振る舞いを探索する上で重要な役割を果たす。 しかしながら、現在のアプローチは、さまざまなテストニーズを満たすのに不足することが多く、現実の状況に密接に反映した、新しいリスクの高いシナリオへの一般化に苦慮している。 この課題に対処するために,マルチモーダル大規模言語モデル(LLM)に基づく,現実的なコーナーケース生成のためのフレームワークであるAutoScenarioを提案する。 複数の情報源からの安全クリティカルな実世界のデータをテキスト表現に変換することにより、LLMの広範な世界知識と高度な推論能力を活用しながら、重要なリスク要因の一般化を可能にし、さらに、Simulation of Urban Mobility(SUMO)とCARLAシミュレータのツールを統合して、LLMが生成したコードを簡素化・実行している。 私たちの実験では、AutoScenarioが、特定のテスト要件やテキスト記述に合わせて、現実的で挑戦的なテストシナリオを生成することができることを実証しています。 さらに,リスクを伴うマルチモーダル実世界のデータから,多様で斬新なシナリオを生成する能力を検証するとともに,LLMの強力な一般化機能を活用し,幅広いコーナーケースを効果的にシミュレートした。

関連論文リスト

• Generating Out-Of-Distribution Scenarios Using Language Models [58.47597351184034]
  大規模言語モデル(LLM)は自動運転において有望であることを示している。 本稿では,多様なOF-Distribution(OOD)駆動シナリオを生成するためのフレームワークを提案する。 我々は、広範囲なシミュレーションを通じてフレームワークを評価し、新しい"OOD-ness"メトリクスを導入する。
  論文  参考訳（メタデータ） (2024-11-25T16:38:17Z)
• Multimodal Large Language Model Driven Scenario Testing for Autonomous Vehicles [6.836108615628114]
  我々はシミュレーション環境で現実的で多様なシナリオを生成するフレームワークであるOmniTesterを提案する。 実験では,3種類の難解かつ複雑なシナリオを生成する上で,我々のアプローチの可制御性とリアリズムを実証した。
  論文  参考訳（メタデータ） (2024-09-10T12:12:09Z)
• Using Multimodal Large Language Models for Automated Detection of Traffic Safety Critical Events [5.233512464561313]
  MLLM(Multimodal Large Language Models)は、テキスト、ビジュアル、オーディオのモダリティを統合する新しいアプローチを提供する。 我々のフレームワークはMLLMの推論能力を活用し、文脈固有のプロンプトを通して出力を誘導する。 予備的な結果は、ゼロショット学習と正確なシナリオ分析におけるフレームワークの可能性を示している。
  論文  参考訳（メタデータ） (2024-06-19T23:50:41Z)
• Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
  自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。 GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
  論文  参考訳（メタデータ） (2024-05-09T17:52:42Z)
• SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
  制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。 提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。 複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
  論文  参考訳（メタデータ） (2023-12-31T04:14:43Z)
• RealGen: Retrieval Augmented Generation for Controllable Traffic Scenarios [58.62407014256686]
  RealGenは、トラフィックシナリオ生成のための新しい検索ベースのコンテキスト内学習フレームワークである。 RealGenは、複数の検索されたサンプルの振る舞いを勾配のない方法で組み合わせることで、新しいシナリオを合成する。 このコンテキスト内学習フレームワークは、シナリオを編集する機能を含む多種多様な生成機能を提供する。
  論文  参考訳（メタデータ） (2023-12-19T23:11:06Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• Cycle-Consistent World Models for Domain Independent Latent Imagination [0.0]
  高いコストとリスクは、現実世界での自動運転車の訓練を困難にします。 本稿では,Cycleconsistent World Modelsと呼ばれる新しいモデルに基づく強化学習手法を提案する。
  論文  参考訳（メタデータ） (2021-10-02T13:55:50Z)
• Generating and Characterizing Scenarios for Safety Testing of Autonomous Vehicles [86.9067793493874]
  最先端運転シミュレータを用いて,テストシナリオを特徴付け,生成するための効率的なメカニズムを提案する。 次世代シミュレーション(NGSIM)プロジェクトにおける実運転データの特徴付けに本手法を用いる。 事故回避の複雑さに基づいてメトリクスを定義してシナリオをランク付けし、事故発生の可能性を最小限に抑えるための洞察を提供します。
  論文  参考訳（メタデータ） (2021-03-12T17:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。