論文の概要: Enhancing LLM-based Autonomous Driving with Modular Traffic Light and Sign Recognition
- arxiv url: http://arxiv.org/abs/2511.14391v1
- Date: Tue, 18 Nov 2025 11:52:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-19 16:23:53.084933
- Title: Enhancing LLM-based Autonomous Driving with Modular Traffic Light and Sign Recognition
- Title(参考訳): Modular Traffic Lightと符号認識によるLCMによる自律走行の強化
- Authors: Fabian Schmidt, Noushiq Mohammed Kayilan Abdul Nazar, Markus Enzweiler, Abhinav Valada,
- Abstract要約: 大規模言語モデル(LLM)は、自律運転における意思決定と計画にますます利用されている。
LLMをベースとした自律走行エージェントを明示的な信号と信号認識で拡張するモジュール冗長層であるTLS-Assistを導入する。
LMDriveを14%,BEVDriverを7%,運転性能を14%向上させた。
- 参考スコア(独自算出の注目度): 15.4994260281059
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are increasingly used for decision-making and planning in autonomous driving, showing promising reasoning capabilities and potential to generalize across diverse traffic situations. However, current LLM-based driving agents lack explicit mechanisms to enforce traffic rules and often struggle to reliably detect small, safety-critical objects such as traffic lights and signs. To address this limitation, we introduce TLS-Assist, a modular redundancy layer that augments LLM-based autonomous driving agents with explicit traffic light and sign recognition. TLS-Assist converts detections into structured natural language messages that are injected into the LLM input, enforcing explicit attention to safety-critical cues. The framework is plug-and-play, model-agnostic, and supports both single-view and multi-view camera setups. We evaluate TLS-Assist in a closed-loop setup on the LangAuto benchmark in CARLA. The results demonstrate relative driving performance improvements of up to 14% over LMDrive and 7% over BEVDriver, while consistently reducing traffic light and sign infractions. We publicly release the code and models on https://github.com/iis-esslingen/TLS-Assist.
- Abstract(参考訳): 大規模言語モデル(LLM)は、自律運転における意思決定と計画にますます使われており、有望な推論能力と様々な交通状況にまたがる一般化の可能性を示している。
しかし、現在のLSMベースの運転エージェントは、交通規則を強制する明確なメカニズムが欠如しており、信号機や標識のような小型で安全な物体を確実に検出するのに苦労することが多い。
この制限に対処するため,TLS-Assistは,LSMをベースとした自律走行エージェントを明示的な信号と信号認識で拡張するモジュール冗長層である。
TLS-Assistは、検出をLLM入力に注入される構造化された自然言語メッセージに変換する。
このフレームワークはプラグアンドプレイで、モデルに依存しず、シングルビューとマルチビューの両方のカメラセットアップをサポートする。
CARLAにおけるLangAutoベンチマークのクローズドループ設定におけるTLS-Assistの評価を行った。
その結果、LMDriveよりも最大14%、BEVDriverより7%、運転性能は最大14%向上した。
コードとモデルはhttps://github.com/iis-esslingen/TLS-Assist.comで公開しています。
関連論文リスト
- Virtual Traffic Police: Large Language Model-Augmented Traffic Signal Control for Unforeseen Incidents [5.077053934708947]
本稿では,Large Language Models (LLMs) を用いた既存の交通信号制御システムを強化する階層型フレームワークを提案する。
上層部の仮想交通警察エージェントは、リアルタイム交通事故に応じて下層部の信号制御装置の選択パラメータを動的に微調整する。
この結果から, LLM は従来の TSC 手法を交通事故に適応させることのできる, 信頼性の高い仮想交通警察官として機能することが示唆された。
論文 参考訳(メタデータ) (2026-01-22T10:04:21Z) - VLDrive: Vision-Augmented Lightweight MLLMs for Efficient Language-grounded Autonomous Driving [90.21844353859454]
視覚コンポーネントを拡張した軽量MLLMアーキテクチャを特徴とする新しいアプローチを提案する。
VLDriveは、パラメータを81%削減しながら最先端の駆動性能を達成する。
論文 参考訳(メタデータ) (2025-11-09T07:14:53Z) - AdaDrive: Self-Adaptive Slow-Fast System for Language-Grounded Autonomous Driving [71.55254573283793]
既存のアプローチでは、Large Language Modelsを頻繁に起動し、過剰な計算オーバーヘッドを引き起こすか、固定スケジュールを使用するかのいずれかである。
我々は,LLMが意思決定にいつ,どのように貢献するかを最適に決定する,適応的に協調的なスローファストフレームワークであるAdaDriveを提案する。
AdaDriveは、リアルタイムのパフォーマンスを損なうことなく、意思決定の精度を最大化するフレキシブルでコンテキスト対応のフレームワークを提供する。
論文 参考訳(メタデータ) (2025-11-09T07:05:03Z) - VLMLight: Safety-Critical Traffic Signal Control via Vision-Language Meta-Control and Dual-Branch Reasoning Architecture [10.403439446065033]
VLMLightは、視覚言語メタコントロールとデュアルブランチ推論を統合する新しいフレームワークである。
大規模言語モデル(LLM)は、安全優先のメタコントローラとして機能し、ルーチントラフィックの高速なRLポリシーとクリティカルケースの構造化推論ブランチを選択できる。
実験によると、VLMLightは緊急車両の待ち時間を、RLのみのシステムよりも最大65%短縮する。
論文 参考訳(メタデータ) (2025-05-26T04:12:57Z) - SafeAuto: Knowledge-Enhanced Safe Autonomous Driving with Multimodal Foundation Models [63.71984266104757]
我々は、構造化されていない知識と構造化されていない知識の両方を取り入れることで、MLLMベースの自動運転を強化するフレームワークであるSafeAutoを提案する。
安全知識を明示的に統合するため,交通ルールを一階述語論理に変換する推論コンポーネントを開発した。
我々のマルチモーダル検索・拡張生成モデルは、過去の運転経験から学ぶために、ビデオ、制御信号、環境特性を活用する。
論文 参考訳(メタデータ) (2025-02-28T21:53:47Z) - TeLL-Drive: Enhancing Autonomous Driving with Teacher LLM-Guided Deep Reinforcement Learning [61.33599727106222]
TeLL-Driveは、Teacher LLMを統合して、注意に基づく学生DRLポリシーをガイドするハイブリッドフレームワークである。
自己維持機構はDRLエージェントの探索とこれらの戦略を融合させ、政策収束を加速し、堅牢性を高める。
論文 参考訳(メタデータ) (2025-02-03T14:22:03Z) - Large Language Models (LLMs) as Traffic Control Systems at Urban Intersections: A New Paradigm [5.233512464561313]
本研究では,Large Language Models (LLM) をトラヒックコントローラとして利用することで,トラヒック制御システムに新たなアプローチを提案する。
この研究は、論理的推論、シーン理解、意思決定能力を利用してスループットを最適化し、リアルタイムで交通状況に基づいたフィードバックを提供する。
論文 参考訳(メタデータ) (2024-11-16T19:23:52Z) - Strada-LLM: Graph LLM for traffic prediction [62.2015839597764]
交通予測における大きな課題は、非常に異なる交通条件によって引き起こされる多様なデータ分散を扱うことである。
近位交通情報を考慮した交通予測のためのグラフ対応LLMを提案する。
我々は、新しいデータ分散に直面する際に、ドメイン適応を効率的にするための軽量なアプローチを採用する。
論文 参考訳(メタデータ) (2024-10-28T09:19:29Z) - A Superalignment Framework in Autonomous Driving with Large Language Models [2.650382010271]
大規模言語モデル (LLM) と多モード大規模言語モデル (MLLM) は、自律運転において広く使われている。
その重要性にもかかわらず、自動運転におけるLLMのセキュリティの側面は未解明のままである。
本研究は,マルチエージェントLLMアプローチを利用した,自動運転車の新たなセキュリティフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-09T05:26:38Z) - LLMLight: Large Language Models as Traffic Signal Control Agents [25.438040499152745]
交通信号制御(TSC)は都市交通管理において重要な要素であり、道路網の効率を最適化し渋滞を軽減することを目的としている。
本稿では,大規模言語モデル (LLM) を用いた新しいフレームワーク LLMLight について述べる。
論文 参考訳(メタデータ) (2023-12-26T13:17:06Z) - LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [84.31119464141631]
この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。
大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
論文 参考訳(メタデータ) (2023-10-04T17:59:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。