論文の概要: DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large
Language Models
- arxiv url: http://arxiv.org/abs/2309.16292v3
- Date: Thu, 22 Feb 2024 03:24:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 18:41:55.977295
- Title: DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large
Language Models
- Title(参考訳): DiLu: 大規模言語モデルによる自律運転のための知識駆動アプローチ
- Authors: Licheng Wen, Daocheng Fu, Xin Li, Xinyu Cai, Tao Ma, Pinlong Cai, Min
Dou, Botian Shi, Liang He, Yu Qiao
- Abstract要約: 本稿では,ReasoningとReflectionモジュールを組み合わせたDiLuフレームワークを提案する。
大規模な実験は、ダイリューが経験を蓄積し、一般化能力において大きな優位性を示す能力を証明する。
私たちの知識を最大限に活用するために、自動運転車の意思決定において知識駆動能力を活用するのは、私たちは初めてです。
- 参考スコア(独自算出の注目度): 30.23228092898916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in autonomous driving have relied on data-driven
approaches, which are widely adopted but face challenges including dataset
bias, overfitting, and uninterpretability. Drawing inspiration from the
knowledge-driven nature of human driving, we explore the question of how to
instill similar capabilities into autonomous driving systems and summarize a
paradigm that integrates an interactive environment, a driver agent, as well as
a memory component to address this question. Leveraging large language models
(LLMs) with emergent abilities, we propose the DiLu framework, which combines a
Reasoning and a Reflection module to enable the system to perform
decision-making based on common-sense knowledge and evolve continuously.
Extensive experiments prove DiLu's capability to accumulate experience and
demonstrate a significant advantage in generalization ability over
reinforcement learning-based methods. Moreover, DiLu is able to directly
acquire experiences from real-world datasets which highlights its potential to
be deployed on practical autonomous driving systems. To the best of our
knowledge, we are the first to leverage knowledge-driven capability in
decision-making for autonomous vehicles. Through the proposed DiLu framework,
LLM is strengthened to apply knowledge and to reason causally in the autonomous
driving domain. Project page: https://pjlab-adg.github.io/DiLu/
- Abstract(参考訳): 近年の自動運転の進歩は、広く採用されているデータ駆動アプローチに依存しているが、データセットのバイアス、過剰適合、解釈不能といった課題に直面している。
人間の運転の知識駆動性からインスピレーションを得た上で,このような機能を自律運転システムに組み込む方法について考察し,対話型環境とドライバエージェントと,この問題に対処するためのメモリコンポーネントを統合したパラダイムを要約する。
本稿では,新たな能力を持つ大規模言語モデル(llm)を活用して,推論とリフレクションモジュールを組み合わせたdiluフレームワークを提案する。
大規模な実験により、DiLuは経験を蓄積し、強化学習に基づく手法よりも一般化能力において大きな優位性を示す。
さらに、DiLuは現実のデータセットから体験を直接取得することができ、実用的な自動運転システムにデプロイされる可能性を強調している。
私たちの知る限りでは、自動運転車の意思決定において知識駆動能力を活用するのは当社が初めてです。
提案したDiLuフレームワークを通じて、LLMは知識を適用し、自律運転領域に因果的に推論するように強化されている。
プロジェクトページ: https://pjlab-adg.github.io/DiLu/
関連論文リスト
- DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral
Planning States for Autonomous Driving [69.82743399946371]
DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。
モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。
このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
論文 参考訳(メタデータ) (2023-12-14T18:59:05Z) - Towards Knowledge-driven Autonomous Driving [37.003908817857095]
本稿では,新しい知識駆動型自動運転技術について考察する。
我々の調査は、現在の自動運転システムの限界を浮き彫りにしている。
認知、一般化、生涯学習の能力を備えた知識駆動型手法は、これらの課題を克服するための有望な方法として浮上する。
論文 参考訳(メタデータ) (2023-12-07T14:17:17Z) - A Language Agent for Autonomous Driving [33.64382018350317]
本稿では,人間のような知性を自律運転システムに統合するためのパラダイムシフトを提案する。
当社のアプローチは、Agent-Driverと呼ばれ、従来の自動運転パイプラインを変換します。
我々の手法は最先端の運転方法よりも大きなマージンで優れています。
論文 参考訳(メタデータ) (2023-11-17T18:59:56Z) - Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic
Systems [67.01132165581667]
本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。
本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
論文 参考訳(メタデータ) (2023-11-13T21:20:17Z) - LLM4Drive: A Survey of Large Language Models for Autonomous Driving [67.843551583229]
大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。
本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
論文 参考訳(メタデータ) (2023-11-02T07:23:33Z) - Drive Anywhere: Generalizable End-to-end Autonomous Driving with
Multi-modal Foundation Models [114.69732301904419]
本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。
当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
論文 参考訳(メタデータ) (2023-10-26T17:56:35Z) - Receive, Reason, and React: Drive as You Say with Large Language Models
in Autonomous Vehicles [13.102404404559428]
本稿では,Large Language Models (LLMs) を利用した自律走行車における意思決定プロセスを強化する新しいフレームワークを提案する。
我々の研究は、自動運転と戦術的意思決定タスクのための環境の集合であるHighwayEnvの実験を含む。
また、リアルタイムのパーソナライズも検討し、LLMが音声コマンドに基づいて運転行動にどう影響するかを示す。
論文 参考訳(メタデータ) (2023-10-12T04:56:01Z) - LanguageMPC: Large Language Models as Decision Makers for Autonomous
Driving [87.1164964709168]
この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。
大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
論文 参考訳(メタデータ) (2023-10-04T17:59:49Z) - Drive Like a Human: Rethinking Autonomous Driving with Large Language
Models [28.957124302293966]
本研究では,大規模言語モデル(LLM)を用いた運転環境の人間的理解の可能性を探る。
実験の結果,LLMは長い尾の症例を推論し,解決する優れた能力を示すことがわかった。
論文 参考訳(メタデータ) (2023-07-14T05:18:34Z) - A Study of Situational Reasoning for Traffic Understanding [63.45021731775964]
トラフィック領域における状況推論のための3つの新しいテキストベースのタスクを考案する。
先行作業における言語推論タスクにまたがる一般化能力を示す知識強化手法を4つ採用する。
本稿では,データ分割におけるモデル性能の詳細な解析を行い,モデル予測を分類的に検討する。
論文 参考訳(メタデータ) (2023-06-05T01:01:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。