論文の概要: DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large Language Models

• arxiv url: http://arxiv.org/abs/2309.16292v3
• Date: Thu, 22 Feb 2024 03:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 18:41:55.977295
• Title: DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large Language Models
• Title（参考訳）: DiLu: 大規模言語モデルによる自律運転のための知識駆動アプローチ
• Authors: Licheng Wen, Daocheng Fu, Xin Li, Xinyu Cai, Tao Ma, Pinlong Cai, Min Dou, Botian Shi, Liang He, Yu Qiao
• Abstract要約: 本稿では,ReasoningとReflectionモジュールを組み合わせたDiLuフレームワークを提案する。 大規模な実験は、ダイリューが経験を蓄積し、一般化能力において大きな優位性を示す能力を証明する。 私たちの知識を最大限に活用するために、自動運転車の意思決定において知識駆動能力を活用するのは、私たちは初めてです。
• 参考スコア（独自算出の注目度）: 30.23228092898916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in autonomous driving have relied on data-driven approaches, which are widely adopted but face challenges including dataset bias, overfitting, and uninterpretability. Drawing inspiration from the knowledge-driven nature of human driving, we explore the question of how to instill similar capabilities into autonomous driving systems and summarize a paradigm that integrates an interactive environment, a driver agent, as well as a memory component to address this question. Leveraging large language models (LLMs) with emergent abilities, we propose the DiLu framework, which combines a Reasoning and a Reflection module to enable the system to perform decision-making based on common-sense knowledge and evolve continuously. Extensive experiments prove DiLu's capability to accumulate experience and demonstrate a significant advantage in generalization ability over reinforcement learning-based methods. Moreover, DiLu is able to directly acquire experiences from real-world datasets which highlights its potential to be deployed on practical autonomous driving systems. To the best of our knowledge, we are the first to leverage knowledge-driven capability in decision-making for autonomous vehicles. Through the proposed DiLu framework, LLM is strengthened to apply knowledge and to reason causally in the autonomous driving domain. Project page: https://pjlab-adg.github.io/DiLu/
• Abstract（参考訳）: 近年の自動運転の進歩は、広く採用されているデータ駆動アプローチに依存しているが、データセットのバイアス、過剰適合、解釈不能といった課題に直面している。 人間の運転の知識駆動性からインスピレーションを得た上で,このような機能を自律運転システムに組み込む方法について考察し,対話型環境とドライバエージェントと,この問題に対処するためのメモリコンポーネントを統合したパラダイムを要約する。 本稿では,新たな能力を持つ大規模言語モデル(llm)を活用して,推論とリフレクションモジュールを組み合わせたdiluフレームワークを提案する。 大規模な実験により、DiLuは経験を蓄積し、強化学習に基づく手法よりも一般化能力において大きな優位性を示す。 さらに、DiLuは現実のデータセットから体験を直接取得することができ、実用的な自動運転システムにデプロイされる可能性を強調している。 私たちの知る限りでは、自動運転車の意思決定において知識駆動能力を活用するのは当社が初めてです。 提案したDiLuフレームワークを通じて、LLMは知識を適用し、自律運転領域に因果的に推論するように強化されている。 プロジェクトページ: https://pjlab-adg.github.io/DiLu/

関連論文リスト

• Large Language Models for Autonomous Driving (LLM4AD): Concept, Benchmark, Simulation, and Real-Vehicle Experiment [15.52530518623987]
  大規模言語モデル(LLM)は、自律運転システムの様々な側面を強化する可能性を秘めている。 本稿では,LLMを自動走行(LLM4AD)用に設計するための新しい概念とアプローチを紹介する。
  論文  参考訳（メタデータ） (2024-10-20T04:36:19Z)
• Exploring the Causality of End-to-End Autonomous Driving [57.631400236930375]
  本稿では,エンドツーエンド自動運転の因果関係を探究し,分析するための包括的アプローチを提案する。 私たちの研究は、エンドツーエンドの自動運転の謎を初めて明らかにし、ブラックボックスを白い箱に変えた。
  論文  参考訳（メタデータ） (2024-07-09T04:56:11Z)
• DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving [69.82743399946371]
  DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。 モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。 このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
  論文  参考訳（メタデータ） (2023-12-14T18:59:05Z)
• Towards Knowledge-driven Autonomous Driving [37.003908817857095]
  本稿では,新しい知識駆動型自動運転技術について考察する。 我々の調査は、現在の自動運転システムの限界を浮き彫りにしている。 認知、一般化、生涯学習の能力を備えた知識駆動型手法は、これらの課題を克服するための有望な方法として浮上する。
  論文  参考訳（メタデータ） (2023-12-07T14:17:17Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• A Language Agent for Autonomous Driving [31.359413767191608]
  本稿では,人間のような知性を自律運転システムに統合するためのパラダイムシフトを提案する。 当社のアプローチはAgent-Driverと呼ばれ,汎用ツールライブラリを導入して,従来の自律走行パイプラインを変革する。 LLM(Large Language Models)によって駆動されるエージェントドライブには直感的な常識と堅牢な推論能力が備わっています。
  論文  参考訳（メタデータ） (2023-11-17T18:59:56Z)
• LLM4Drive: A Survey of Large Language Models for Autonomous Driving [62.10344445241105]
  大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。 本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
  論文  参考訳（メタデータ） (2023-11-02T07:23:33Z)
• Drive Anywhere: Generalizable End-to-end Autonomous Driving with Multi-modal Foundation Models [114.69732301904419]
  本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。 当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:56:35Z)
• Receive, Reason, and React: Drive as You Say with Large Language Models in Autonomous Vehicles [13.102404404559428]
  本稿では,Large Language Models (LLMs) を利用した自律走行車における意思決定プロセスを強化する新しいフレームワークを提案する。 我々の研究は、自動運転と戦術的意思決定タスクのための環境の集合であるHighwayEnvの実験を含む。 また、リアルタイムのパーソナライズも検討し、LLMが音声コマンドに基づいて運転行動にどう影響するかを示す。
  論文  参考訳（メタデータ） (2023-10-12T04:56:01Z)
• LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [87.1164964709168]
  この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。 大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
  論文  参考訳（メタデータ） (2023-10-04T17:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。