論文の概要: Application of Multimodal Large Language Models in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2412.16410v1
• Date: Sat, 21 Dec 2024 00:09:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:59:56.347653
• Title: Application of Multimodal Large Language Models in Autonomous Driving
• Title（参考訳）: マルチモーダル大規模言語モデルの自律運転への適用
• Authors: Md Robiul Islam,
• Abstract要約: マルチモーダル大言語モデルの実装について詳細な研究を行う。 自律運転におけるMLLMの性能の低下に対処する。 次に、シーン理解、予測、意思決定によってAD意思決定プロセスを分解する。
• 参考スコア（独自算出の注目度）: 1.8181868280594944
• License:
• Abstract: In this era of technological advancements, several cutting-edge techniques are being implemented to enhance Autonomous Driving (AD) systems, focusing on improving safety, efficiency, and adaptability in complex driving environments. However, AD still faces some problems including performance limitations. To address this problem, we conducted an in-depth study on implementing the Multi-modal Large Language Model. We constructed a Virtual Question Answering (VQA) dataset to fine-tune the model and address problems with the poor performance of MLLM on AD. We then break down the AD decision-making process by scene understanding, prediction, and decision-making. Chain of Thought has been used to make the decision more perfectly. Our experiments and detailed analysis of Autonomous Driving give an idea of how important MLLM is for AD.
• Abstract（参考訳）: この技術進歩の時代には、複雑な運転環境における安全性、効率、適応性の向上に焦点をあてて、自律運転(AD)システムを強化するためにいくつかの最先端技術が実装されている。 しかし、ADはパフォーマンスの制限を含むいくつかの問題に直面している。 この問題に対処するため,我々はマルチモーダル大言語モデルの実装について詳細な研究を行った。 我々は,VQAデータセットを構築してモデルを微調整し,AD上でのMLLMの性能が劣る問題に対処した。 次に、シーン理解、予測、意思決定によってAD意思決定プロセスを分解する。 Chain of Thoughtは、この決定をより完璧にするために使われてきた。 自動運転に関する我々の実験と詳細な分析により、MLLMがADにとっていかに重要であるかがわかる。

関連論文リスト

• Large Language Models for Autonomous Driving (LLM4AD): Concept, Benchmark, Simulation, and Real-Vehicle Experiment [15.52530518623987]
  大規模言語モデル(LLM)は、自律運転システムの様々な側面を強化する可能性を秘めている。 本稿では,LLMを自動走行(LLM4AD)用に設計するための新しい概念とアプローチを紹介する。
  論文  参考訳（メタデータ） (2024-10-20T04:36:19Z)
• A Survey on Large Language Model-empowered Autonomous Driving [25.963195890376646]
  自律運転(AD)技術の開発は、モジュール化とエンドツーエンドの2つの主要な技術的パスに従っている。 本稿では,ADシステムにおける大規模言語モデル(LLM)の適用可能性について,詳細な分析を行う。 LLMベースの人工知能(AGI)がハイレベルADを実現する鍵となるのか?
  論文  参考訳（メタデータ） (2024-09-21T15:07:37Z)
• RAG-Driver: Generalisable Driving Explanations with Retrieval-Augmented In-Context Learning in Multi-Modal Large Language Model [22.25903116720301]
  説明責任は、信頼できる自律的な意思決定において重要な役割を果たす。 MLLM(Multi-Modal Large Language Model)の最近の進歩は、駆動エージェントとしての説明可能性を高める有望な可能性を示している。 提案するRAG-Driverは,高機能,説明性,一般化可能な自律運転にコンテキスト内学習を活用する,検索強化型多モード大言語モデルである。
  論文  参考訳（メタデータ） (2024-02-16T16:57:18Z)
• DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving [69.82743399946371]
  DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。 モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。 このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
  論文  参考訳（メタデータ） (2023-12-14T18:59:05Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• LLM4Drive: A Survey of Large Language Models for Autonomous Driving [62.10344445241105]
  大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。 本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
  論文  参考訳（メタデータ） (2023-11-02T07:23:33Z)
• Drive Anywhere: Generalizable End-to-end Autonomous Driving with Multi-modal Foundation Models [114.69732301904419]
  本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。 当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:56:35Z)
• LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [87.1164964709168]
  この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。 大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
  論文  参考訳（メタデータ） (2023-10-04T17:59:49Z)
• Drive Like a Human: Rethinking Autonomous Driving with Large Language Models [28.957124302293966]
  本研究では,大規模言語モデル(LLM)を用いた運転環境の人間的理解の可能性を探る。 実験の結果,LLMは長い尾の症例を推論し,解決する優れた能力を示すことがわかった。
  論文  参考訳（メタデータ） (2023-07-14T05:18:34Z)
• SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for Autonomous Driving [96.50297622371457]
  マルチエージェントインタラクションは、現実の世界における自律運転の基本的な側面である。 研究と開発が10年以上続いたにもかかわらず、様々なシナリオで多様な道路ユーザーと対話する方法の問題は未解決のままである。 SMARTSと呼ばれる,多種多様な運転インタラクションを生成する専用シミュレーションプラットフォームを開発した。
  論文  参考訳（メタデータ） (2020-10-19T18:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。