論文の概要: BEVDriver: Leveraging BEV Maps in LLMs for Robust Closed-Loop Driving

• arxiv url: http://arxiv.org/abs/2503.03074v1
• Date: Wed, 05 Mar 2025 00:27:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:51:21.375232
• Title: BEVDriver: Leveraging BEV Maps in LLMs for Robust Closed-Loop Driving
• Title（参考訳）: BEVDriver:ロバストなクローズドループ運転のためにLLMでBEVマップを活用
• Authors: Katharina Winter, Mark Azer, Fabian B. Flohr,
• Abstract要約: 大規模言語モデル(LLM)には推論能力と自然言語理解がある。 CARLAにおける終端閉ループ駆動のためのLLMモデルであるBEVDriverを紹介する。 LangAutoベンチマークでは、私たちのモデルはSoTAの手法と比較して、ドライビングスコアで最大18.9%高いパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 0.5735035463793009
• License:
• Abstract: Autonomous driving has the potential to set the stage for more efficient future mobility, requiring the research domain to establish trust through safe, reliable and transparent driving. Large Language Models (LLMs) possess reasoning capabilities and natural language understanding, presenting the potential to serve as generalized decision-makers for ego-motion planning that can interact with humans and navigate environments designed for human drivers. While this research avenue is promising, current autonomous driving approaches are challenged by combining 3D spatial grounding and the reasoning and language capabilities of LLMs. We introduce BEVDriver, an LLM-based model for end-to-end closed-loop driving in CARLA that utilizes latent BEV features as perception input. BEVDriver includes a BEV encoder to efficiently process multi-view images and 3D LiDAR point clouds. Within a common latent space, the BEV features are propagated through a Q-Former to align with natural language instructions and passed to the LLM that predicts and plans precise future trajectories while considering navigation instructions and critical scenarios. On the LangAuto benchmark, our model reaches up to 18.9% higher performance on the Driving Score compared to SoTA methods.
• Abstract（参考訳）: 自律運転は、より効率的な将来のモビリティのステージを設定できる可能性があり、研究領域は安全で信頼性があり透明な運転を通じて信頼を確立する必要がある。 大規模言語モデル(LLM)は推論能力と自然言語理解を持ち、人間と対話し、人間のドライバーのために設計された環境をナビゲートするエゴモーション計画のための一般的な意思決定者として機能する可能性を提示する。 この研究は有望であるが、3次元空間接地とLLMの推論と言語能力を組み合わせることで、現在の自律運転アプローチに挑戦している。 本稿では,CARLAにおける終端閉ループ駆動のためのLLMモデルであるBEVDriverを紹介する。 BEVDriverには、マルチビューイメージと3D LiDARポイントクラウドを効率的に処理するBEVエンコーダが含まれている。 一般的な潜在空間内では、BEV機能はQ-Formerを介して自然言語命令と整合するように伝播され、ナビゲーション命令とクリティカルシナリオを考慮しつつ、正確な将来の軌道を予測および計画するLLMに渡される。 LangAutoベンチマークでは、私たちのモデルはSoTAの手法と比較して、ドライビングスコアで最大18.9%高いパフォーマンスを実現しています。

関連論文リスト

• Generative Planning with 3D-vision Language Pre-training for End-to-End Autonomous Driving [20.33096710167997]
  GPVLという名前の3次元言語事前学習モデルによる生成計画がエンドツーエンドの自動運転のために提案されている。 クロスモーダル言語モデルを導入し、総合的な駆動決定と微粒な軌跡を生成する。 GPVLの効果的で堅牢で効率的な性能は、将来の自動運転システムの実用化に不可欠であると考えられている。
  論文  参考訳（メタデータ） (2025-01-15T15:20:46Z)
• CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving [1.727597257312416]
  CoVLA(Comprehensive Vision-Language-Action)データセットは、80時間以上にわたる現実世界の運転ビデオで構成されている。 このデータセットは、堅牢で解釈可能で、データ駆動の自動運転システムのためのフレームワークを確立する。
  論文  参考訳（メタデータ） (2024-08-19T09:53:49Z)
• Hybrid Reasoning Based on Large Language Models for Autonomous Car Driving [14.64475022650084]
  大規模言語モデル(LLM)は、テキストや画像を理解し、人間に似たテキストを生成し、複雑な推論タスクを実行する能力において、大きな注目を集めている。 算術的推論と常識的推論の組み合わせ,特に自律運転シナリオにおけるLLMの適応性について検討する。
  論文  参考訳（メタデータ） (2024-02-21T08:09:05Z)
• Holistic Autonomous Driving Understanding by Bird's-Eye-View Injected Multi-Modal Large Models [76.99140362751787]
  我々は17のサブタスクで91Kのマルチビュービデオ-QAペアを持つ新しいデータセットであるNuInstructを提案する。 また,BirdのEye-View特徴を効率的に抽出するエンドツーエンド手法であるBEV-InMLLMを提案する。
  論文  参考訳（メタデータ） (2024-01-02T01:54:22Z)
• DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving [69.82743399946371]
  DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。 モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。 このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
  論文  参考訳（メタデータ） (2023-12-14T18:59:05Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• LLM4Drive: A Survey of Large Language Models for Autonomous Driving [62.10344445241105]
  大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。 本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
  論文  参考訳（メタデータ） (2023-11-02T07:23:33Z)
• Receive, Reason, and React: Drive as You Say with Large Language Models in Autonomous Vehicles [13.102404404559428]
  本稿では,Large Language Models (LLMs) を利用した自律走行車における意思決定プロセスを強化する新しいフレームワークを提案する。 我々の研究は、自動運転と戦術的意思決定タスクのための環境の集合であるHighwayEnvの実験を含む。 また、リアルタイムのパーソナライズも検討し、LLMが音声コマンドに基づいて運転行動にどう影響するかを示す。
  論文  参考訳（メタデータ） (2023-10-12T04:56:01Z)
• DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model [84.29836263441136]
  本研究は,マルチモーダル大言語モデル(MLLM)に基づく新しい解釈可能なエンドツーエンド自動運転システムであるDriveGPT4を紹介する。 DriveGPT4は、車両動作の解釈を促進し、関連する推論を提供し、ユーザによるさまざまな質問に効果的に対処する。
  論文  参考訳（メタデータ） (2023-10-02T17:59:52Z)
• End-to-end Interpretable Neural Motion Planner [78.69295676456085]
  複雑な都市環境での自律走行学習のためのニューラルモーションプランナー(NMP)を提案する。 我々は,生lidarデータとhdマップを入力とし,解釈可能な中間表現を生成する全体モデルを設計した。 北米のいくつかの都市で収集された実世界の運転データにおける我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2021-01-17T14:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。