Fugu-MT 論文翻訳(概要): Multimodal Large Language Model Driven Scenario Testing for Autonomous Vehicles

論文の概要: Multimodal Large Language Model Driven Scenario Testing for Autonomous Vehicles

arxiv url: http://arxiv.org/abs/2409.06450v1
Date: Tue, 10 Sep 2024 12:12:09 GMT
ステータス: 処理完了
システム内更新日: 2024-09-11 17:58:36.570862
Title: Multimodal Large Language Model Driven Scenario Testing for Autonomous Vehicles
Title（参考訳）: 自動運転車のための多モード大言語モデル駆動シナリオテスト
Authors: Qiujing Lu, Xuanhan Wang, Yiwei Jiang, Guangming Zhao, Mingyue Ma, Shuo Feng,
Abstract要約: 我々はシミュレーション環境で現実的で多様なシナリオを生成するフレームワークであるOmniTesterを提案する。実験では,3種類の難解かつ複雑なシナリオを生成する上で,我々のアプローチの可制御性とリアリズムを実証した。
参考スコア（独自算出の注目度）: 6.836108615628114
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The generation of corner cases has become increasingly crucial for efficiently testing autonomous vehicles prior to road deployment. However, existing methods struggle to accommodate diverse testing requirements and often lack the ability to generalize to unseen situations, thereby reducing the convenience and usability of the generated scenarios. A method that facilitates easily controllable scenario generation for efficient autonomous vehicles (AV) testing with realistic and challenging situations is greatly needed. To address this, we proposed OmniTester: a multimodal Large Language Model (LLM) based framework that fully leverages the extensive world knowledge and reasoning capabilities of LLMs. OmniTester is designed to generate realistic and diverse scenarios within a simulation environment, offering a robust solution for testing and evaluating AVs. In addition to prompt engineering, we employ tools from Simulation of Urban Mobility to simplify the complexity of codes generated by LLMs. Furthermore, we incorporate Retrieval-Augmented Generation and a self-improvement mechanism to enhance the LLM's understanding of scenarios, thereby increasing its ability to produce more realistic scenes. In the experiments, we demonstrated the controllability and realism of our approaches in generating three types of challenging and complex scenarios. Additionally, we showcased its effectiveness in reconstructing new scenarios described in crash report, driven by the generalization capability of LLMs.
Abstract（参考訳）: 道路配備前に自動運転車を効率的にテストするためには、コーナーケースの生成がますます重要になっている。しかし、既存の手法は様々なテスト要件を満たすのに苦労し、しばしば目に見えない状況に一般化する能力が欠如しているため、生成されたシナリオの利便性とユーザビリティが低下する。現実的で困難な状況下での効率的な自動運転車(AV)テストにおいて、容易に制御可能なシナリオ生成を容易にする方法が重要である。 OmniTester: LLMの広範な世界的知識と推論能力を完全に活用するマルチモーダル大規模言語モデル(LLM)ベースのフレームワークを提案する。 OmniTesterはシミュレーション環境で現実的で多様なシナリオを生成するように設計されており、AVのテストと評価のための堅牢なソリューションを提供する。迅速なエンジニアリングに加えて,LLMが生成するコードの複雑さを単純化するために,Simulation of Urban Mobility(都市移動シミュレーション)のツールも採用している。さらに,LLMのシナリオ理解を強化し,より現実的なシーンを創出する能力を高めるために,Retrieval-Augmented Generationと自己改善機構を組み込んだ。実験では,3種類の難解かつ複雑なシナリオを生成する上で,我々のアプローチの可制御性とリアリズムを実証した。さらに, LLMの一般化能力により, 事故報告に記載された新たなシナリオを再構築する上での有効性を示した。

関連論文リスト

Using Multimodal Large Language Models for Automated Detection of Traffic Safety Critical Events [5.233512464561313]
MLLM(Multimodal Large Language Models)は、テキスト、ビジュアル、オーディオのモダリティを統合する新しいアプローチを提供する。我々のフレームワークはMLLMの推論能力を活用し、文脈固有のプロンプトを通して出力を誘導する。予備的な結果は、ゼロショット学習と正確なシナリオ分析におけるフレームワークの可能性を示している。
論文参考訳（メタデータ） (2024-06-19T23:50:41Z)
An LLM-enhanced Multi-objective Evolutionary Search for Autonomous Driving Test Scenario Generation [23.176669620953668]
多様な安全クリティカルなテストシナリオを生成する方法は、自律運転システム(ADS)テストにおいて重要なタスクである。本稿では,ALS テストのための LLM 拡張シナリオ生成手法 LEADE を提案する。産業レベルのフルスタックADSプラットフォームであるBaidu Apollo上でLEADEを実装し評価する。
論文参考訳（メタデータ） (2024-06-16T09:05:56Z)
Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。 GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
論文参考訳（メタデータ） (2024-05-09T17:52:42Z)
RealGen: Retrieval Augmented Generation for Controllable Traffic Scenarios [58.62407014256686]
RealGenは、トラフィックシナリオ生成のための新しい検索ベースのコンテキスト内学習フレームワークである。 RealGenは、複数の検索されたサンプルの振る舞いを勾配のない方法で組み合わせることで、新しいシナリオを合成する。このコンテキスト内学習フレームワークは、シナリオを編集する機能を含む多種多様な生成機能を提供する。
論文参考訳（メタデータ） (2023-12-19T23:11:06Z)
Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
論文参考訳（メタデータ） (2023-11-28T03:13:09Z)
Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous Driving Research [76.93956925360638]
Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。 TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
論文参考訳（メタデータ） (2023-10-12T20:49:15Z)
LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [87.1164964709168]
この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
論文参考訳（メタデータ） (2023-10-04T17:59:49Z)
Cycle-Consistent World Models for Domain Independent Latent Imagination [0.0]
高いコストとリスクは、現実世界での自動運転車の訓練を困難にします。本稿では,Cycleconsistent World Modelsと呼ばれる新しいモデルに基づく強化学習手法を提案する。
論文参考訳（メタデータ） (2021-10-02T13:55:50Z)
Generating and Characterizing Scenarios for Safety Testing of Autonomous Vehicles [86.9067793493874]
最先端運転シミュレータを用いて,テストシナリオを特徴付け,生成するための効率的なメカニズムを提案する。次世代シミュレーション(NGSIM)プロジェクトにおける実運転データの特徴付けに本手法を用いる。事故回避の複雑さに基づいてメトリクスを定義してシナリオをランク付けし、事故発生の可能性を最小限に抑えるための洞察を提供します。
論文参考訳（メタデータ） (2021-03-12T17:00:23Z)
Towards Automated Safety Coverage and Testing for Autonomous Vehicles with Reinforcement Learning [0.3683202928838613]
検証は、システムが日々の運転で遭遇する可能性のあるシナリオや状況において、自動運転車システムをテストに投入する。本稿では,AVソフトウェア実装における障害事例と予期せぬ交通状況を生成するために強化学習(RL)を提案する。
論文参考訳（メタデータ） (2020-05-22T19:00:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。