論文の概要: Hybrid Reasoning Based on Large Language Models for Autonomous Car
Driving
- arxiv url: http://arxiv.org/abs/2402.13602v2
- Date: Thu, 7 Mar 2024 12:24:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 16:59:14.090931
- Title: Hybrid Reasoning Based on Large Language Models for Autonomous Car
Driving
- Title(参考訳): 自動車運転のための大規模言語モデルに基づくハイブリッド推論
- Authors: Mehdi Azarafza, Mojtaba Nayyeri, Charles Steinmetz, Steffen Staab,
Achim Rettberg
- Abstract要約: 大規模言語モデル(LLM)は、テキストや画像を理解し、人間に似たテキストを生成し、複雑な推論タスクを実行する能力において、大きな注目を集めている。
算術的推論と常識的推論の組み合わせ,特に自律運転シナリオにおけるLLMの適応性について検討する。
- 参考スコア(独自算出の注目度): 15.711561029504406
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) have garnered significant attention for their
ability to understand text and images, generate human-like text, and perform
complex reasoning tasks. However, their ability to generalize this advanced
reasoning with a combination of natural language text for decision-making in
dynamic situations requires further exploration. In this study, we investigate
how well LLMs can adapt and apply a combination of arithmetic and common-sense
reasoning, particularly in autonomous driving scenarios. We hypothesize that
LLMs hybrid reasoning abilities can improve autonomous driving by enabling them
to analyze detected object and sensor data, understand driving regulations and
physical laws, and offer additional context. This addresses complex scenarios,
like decisions in low visibility (due to weather conditions), where traditional
methods might fall short. We evaluated Large Language Models (LLMs) based on
accuracy by comparing their answers with human-generated ground truth inside
CARLA. The results showed that when a combination of images (detected objects)
and sensor data is fed into the LLM, it can offer precise information for brake
and throttle control in autonomous vehicles across various weather conditions.
This formulation and answers can assist in decision-making for auto-pilot
systems.
- Abstract(参考訳): 大きな言語モデル(LLM)は、テキストや画像を理解し、人間に似たテキストを生成し、複雑な推論タスクを実行する能力に対して、大きな注目を集めている。
しかし、この高度な推論を自然言語テキストと組み合わせて、動的状況における意思決定を一般化する能力は、さらなる探索を必要とする。
本研究では,LLMが算術的推論と常識的推論の組み合わせ,特に自律運転シナリオにおいてどの程度うまく適応できるかを考察する。
LLMのハイブリッド推論能力は、検出された物体やセンサデータを分析し、運転規則や物理法則を理解し、追加のコンテキストを提供することによって、自律運転を改善することができると仮定する。
これは、(天候条件による)視認性の低い意思決定のような複雑なシナリオに対処します。
我々は,CARLA内の人間生成の真実と比較し,その精度に基づいてLarge Language Models(LLMs)を評価した。
その結果、LLMに画像(検出対象物)とセンサーデータを組み合わせると、様々な天候条件下での自動運転車のブレーキやスロットル制御の正確な情報が得られることがわかった。
この定式化と回答は自動操縦システムの意思決定に役立つ。
関連論文リスト
- Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
本研究は,自律運転分野におけるMLLM(Multimodal Large Language Models)の適用に焦点を当てた。
我々は、固定車載カメラの観点から、様々なMLLMの運転能力を世界モデルとして評価する。
以上の結果から,最先端MLLMの現在の能力に重要なギャップがあることが示唆された。
論文 参考訳(メタデータ) (2024-05-09T17:52:42Z) - Automated Evaluation of Large Vision-Language Models on Self-driving Corner Cases [102.05741859030951]
CODA-LMは、自動運転のための新しいビジョン言語ベンチマークである。
解釈可能な自動運転のためのLVLMの、最初の自動的および定量的評価を提供する。
論文 参考訳(メタデータ) (2024-04-16T14:20:55Z) - LC-LLM: Explainable Lane-Change Intention and Trajectory Predictions with Large Language Models [48.46007039539533]
本稿では,Large Language Models (LLM) の強い推論能力と自己説明能力を活用する,説明可能なレーン変更予測モデルを提案する。
大規模高次元データセットに対する実験により,車線変化予測タスクにおけるLC-LLMの優れた性能と解釈性を示した。
論文 参考訳(メタデータ) (2024-03-27T08:34:55Z) - DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral
Planning States for Autonomous Driving [69.82743399946371]
DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。
モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。
このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
論文 参考訳(メタデータ) (2023-12-14T18:59:05Z) - Evaluation of Large Language Models for Decision Making in Autonomous
Driving [4.271294502084542]
自律走行にLarge Language Models (LLMs)を使用する一つの戦略は、周囲のオブジェクトを LLM にテキストプロンプトとして入力することである。
このような目的のためにLLMを使用する場合、空間認識や計画などの能力は不可欠である。
本研究は、自律運転の文脈におけるLLMの2つの能力について定量的に評価した。
論文 参考訳(メタデータ) (2023-12-11T12:56:40Z) - Reason2Drive: Towards Interpretable and Chain-based Reasoning for
Autonomous Driving [40.20124828096732]
Reason2Driveは600万以上のビデオテキストペアを備えたベンチマークデータセットである。
我々は、自律運転プロセスが知覚、予測、推論ステップの逐次的な組み合わせであると特徴付けている。
本稿では,自律システムにおける連鎖型推論性能を評価するための新しい集計評価指標を提案する。
論文 参考訳(メタデータ) (2023-12-06T18:32:33Z) - LLM4Drive: A Survey of Large Language Models for Autonomous Driving [67.843551583229]
大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。
本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
論文 参考訳(メタデータ) (2023-11-02T07:23:33Z) - Receive, Reason, and React: Drive as You Say with Large Language Models
in Autonomous Vehicles [13.102404404559428]
本稿では,Large Language Models (LLMs) を利用した自律走行車における意思決定プロセスを強化する新しいフレームワークを提案する。
我々の研究は、自動運転と戦術的意思決定タスクのための環境の集合であるHighwayEnvの実験を含む。
また、リアルタイムのパーソナライズも検討し、LLMが音声コマンドに基づいて運転行動にどう影響するかを示す。
論文 参考訳(メタデータ) (2023-10-12T04:56:01Z) - LanguageMPC: Large Language Models as Decision Makers for Autonomous
Driving [87.1164964709168]
この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。
大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
論文 参考訳(メタデータ) (2023-10-04T17:59:49Z) - Drive Like a Human: Rethinking Autonomous Driving with Large Language
Models [28.957124302293966]
本研究では,大規模言語モデル(LLM)を用いた運転環境の人間的理解の可能性を探る。
実験の結果,LLMは長い尾の症例を推論し,解決する優れた能力を示すことがわかった。
論文 参考訳(メタデータ) (2023-07-14T05:18:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。