論文の概要: Large Language Models for Autonomous Driving: Real-World Experiments
- arxiv url: http://arxiv.org/abs/2312.09397v2
- Date: Sun, 4 Feb 2024 06:39:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 03:44:53.661832
- Title: Large Language Models for Autonomous Driving: Real-World Experiments
- Title(参考訳): 自動運転のための大規模言語モデル:実世界実験
- Authors: Can Cui, Zichong Yang, Yupeng Zhou, Yunsheng Ma, Juanwu Lu, Lingxi Li,
Yaobin Chen, Jitesh Panchal and Ziran Wang
- Abstract要約: 我々は,人間からの音声コマンドを処理する枠組みを導入し,文脈情報を用いて自律運転決定を行う。
このフレームワークは、様々なドライバーの乗っ取り率を最大90.1%削減することができる。
われわれの知る限りでは、Talk2DriveはLLMベースのシステムを現実の自動運転環境に導入した最初の例だ。
- 参考スコア(独自算出の注目度): 11.858853494266873
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Autonomous driving systems are increasingly popular in today's technological
landscape, where vehicles with partial automation have already been widely
available on the market, and the full automation era with "driverless"
capabilities is near the horizon. However, accurately understanding humans'
commands, particularly for autonomous vehicles that have only passengers
instead of drivers, and achieving a high level of personalization remain
challenging tasks in the development of autonomous driving systems. In this
paper, we introduce a Large Language Model (LLM)-based framework Talk-to-Drive
(Talk2Drive) to process verbal commands from humans and make autonomous driving
decisions with contextual information, satisfying their personalized
preferences for safety, efficiency, and comfort. First, a speech recognition
module is developed for Talk2Drive to interpret verbal inputs from humans to
textual instructions, which are then sent to LLMs for reasoning. Then,
appropriate commands for the Electrical Control Unit (ECU) are generated,
achieving a 100% success rate in executing codes. Real-world experiments show
that our framework can substantially reduce the takeover rate for a diverse
range of drivers by up to 90.1%. To the best of our knowledge, Talk2Drive marks
the first instance of employing an LLM-based system in a real-world autonomous
driving environment.
- Abstract(参考訳): 自動運転システムは、現在、部分的に自動化された車両がすでに市場に出回っている技術分野において、ますます人気を集めており、「ドライバレス」機能を備えた完全な自動化時代が近づきつつある。
しかし、人間の指示を正確に理解し、特に運転手の代わりに乗客のみを乗せた自動運転車では、高いレベルのパーソナライゼーションを達成することは、自律運転システムの開発において難しい課題である。
本稿では,Large Language Model (LLM) ベースのフレームワークであるTalk-to-Drive (Talk2Drive) を導入し,人間からの音声コマンドを処理し,コンテキスト情報を用いて自律運転決定を行い,安全性,効率,快適性に対するパーソナライズされた好みを満たす。
まず、Talk2Driveのための音声認識モジュールを開発し、人間からの音声入力をテキスト命令に解釈し、推論のためにLLMに送信する。
次に、電気制御ユニット(ECU)の適切なコマンドを生成し、コードの実行において100%の成功率を達成する。
実世界の実験により、我々のフレームワークは様々なドライバーの乗っ取り率を最大90.1%削減できることが示された。
われわれの知る限りでは、Talk2DriveはLLMベースのシステムを現実の自動運転環境に導入した最初の例だ。
関連論文リスト
- AutoRT: Embodied Foundation Models for Large Scale Orchestration of
Robotic Agents [110.44779088587809]
AutoRTは、人間の監督を最小限に抑えて、完全に見えないシナリオで運用ロボットの展開をスケールアップするシステムである。
われわれはAutoRTが複数の建物にまたがる20以上のロボットに指示を提示し、遠隔操作と自律ロボットポリシーを通じて77万個の実ロボットエピソードを収集するデモを行った。
実験により,AutoRTが収集した「未使用データ」は極めて多種多様であり,AutoRTのLLMを使用することで,人間の好みに合わせることができるデータ収集ロボットの指示が可能であることを実証した。
論文 参考訳(メタデータ) (2024-01-23T18:45:54Z) - DME-Driver: Integrating Human Decision Logic and 3D Scene Perception in
Autonomous Driving [65.04871316921327]
本稿では,自律運転システムの性能と信頼性を高める新しい自律運転システムを提案する。
DME-Driverは、意思決定者として強力な視覚言語モデル、制御信号生成者として計画指向認識モデルを利用する。
このデータセットを利用することで、論理的思考プロセスを通じて高精度な計画精度を実現する。
論文 参考訳(メタデータ) (2024-01-08T03:06:02Z) - DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral
Planning States for Autonomous Driving [69.82743399946371]
DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。
モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。
このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
論文 参考訳(メタデータ) (2023-12-14T18:59:05Z) - LMDrive: Closed-Loop End-to-End Driving with Large Language Models [37.910449013471656]
大規模言語モデル(LLM)は、"Artificial General Intelligence"にアプローチする印象的な推論能力を示している。
本稿では,新しい言語誘導,エンドツーエンド,クローズドループ自動運転フレームワークLMDriveを紹介する。
論文 参考訳(メタデータ) (2023-12-12T18:24:15Z) - Applications of Large Scale Foundation Models for Autonomous Driving [22.651585322658686]
大規模言語モデル(LLM)とチャットシステム、例えばチャットGPTやPaLMは、自然言語処理(NLP)において人工知能(AGI)を実現するための有望な方向性として急速に現れつつある。
本稿では、シミュレーション、世界モデル、データアノテーションと計画、E2Eソリューションなどに分類される、自動運転に応用された基礎モデルとLLMの技術について検討する。
論文 参考訳(メタデータ) (2023-11-20T19:45:27Z) - A Language Agent for Autonomous Driving [33.64382018350317]
本稿では,人間のような知性を自律運転システムに統合するためのパラダイムシフトを提案する。
当社のアプローチは、Agent-Driverと呼ばれ、従来の自動運転パイプラインを変換します。
我々の手法は最先端の運転方法よりも大きなマージンで優れています。
論文 参考訳(メタデータ) (2023-11-17T18:59:56Z) - LLM4Drive: A Survey of Large Language Models for Autonomous Driving [67.843551583229]
大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。
本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
論文 参考訳(メタデータ) (2023-11-02T07:23:33Z) - Drive Anywhere: Generalizable End-to-end Autonomous Driving with
Multi-modal Foundation Models [114.69732301904419]
本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。
当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
論文 参考訳(メタデータ) (2023-10-26T17:56:35Z) - Receive, Reason, and React: Drive as You Say with Large Language Models
in Autonomous Vehicles [13.102404404559428]
本稿では,Large Language Models (LLMs) を利用した自律走行車における意思決定プロセスを強化する新しいフレームワークを提案する。
我々の研究は、自動運転と戦術的意思決定タスクのための環境の集合であるHighwayEnvの実験を含む。
また、リアルタイムのパーソナライズも検討し、LLMが音声コマンドに基づいて運転行動にどう影響するかを示す。
論文 参考訳(メタデータ) (2023-10-12T04:56:01Z) - Drive as You Speak: Enabling Human-Like Interaction with Large Language
Models in Autonomous Vehicles [13.102404404559428]
本稿では,Large Language Models (LLMs) を利用して自動運転車の意思決定プロセスを強化する新しいフレームワークを提案する。
提案されたフレームワークは、自動運転車の運転方法に革命をもたらす可能性を秘めており、パーソナライズされた支援、継続的学習、透明性のある意思決定を提供する。
論文 参考訳(メタデータ) (2023-09-19T00:47:13Z) - Tackling Real-World Autonomous Driving using Deep Reinforcement Learning [63.3756530844707]
本研究では,加速と操舵角度を予測するニューラルネットワークを学習するモデルレスディープ強化学習プランナを提案する。
実際の自動運転車にシステムをデプロイするために、我々は小さなニューラルネットワークで表されるモジュールも開発する。
論文 参考訳(メタデータ) (2022-07-05T16:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。