論文の概要: PKRD-CoT: A Unified Chain-of-thought Prompting for Multi-Modal Large Language Models in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2412.02025v1
• Date: Mon, 02 Dec 2024 23:08:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:04.476896
• Title: PKRD-CoT: A Unified Chain-of-thought Prompting for Multi-Modal Large Language Models in Autonomous Driving
• Title（参考訳）: PKRD-CoT: 自律運転における多モード大規模言語モデルのための統一連鎖プロンプト
• Authors: Xuewen Luo, Fan Ding, Yinsheng Song, Xiaofeng Zhang, Junnyong Loo,
• Abstract要約: 本研究では、PKRD-CoTというゼロショットチェーン・オブ・ソートプロンプト設計を提案し、MLLMの自律運転システムへのシームレスな統合について検討する。 我々の設計では、MLLMは事前の経験なく問題に対処できるため、非構造自律運転環境における有効性を高めることができる。
• 参考スコア（独自算出の注目度）: 8.971981009717284
• License:
• Abstract: There is growing interest in leveraging the capabilities of robust Multi-Modal Large Language Models (MLLMs) directly within autonomous driving contexts. However, the high costs and complexity of designing and training end-to-end autonomous driving models make them challenging for many enterprises and research entities. To address this, our study explores a seamless integration of MLLMs into autonomous driving systems by proposing a Zero-Shot Chain-of-Thought (Zero-Shot-CoT) prompt design named PKRD-CoT. PKRD-CoT is based on the four fundamental capabilities of autonomous driving: perception, knowledge, reasoning, and decision-making. This makes it particularly suitable for understanding and responding to dynamic driving environments by mimicking human thought processes step by step, thus enhancing decision-making in real-time scenarios. Our design enables MLLMs to tackle problems without prior experience, thereby increasing their utility within unstructured autonomous driving environments. In experiments, we demonstrate the exceptional performance of GPT-4.0 with PKRD-CoT across autonomous driving tasks, highlighting its effectiveness in autonomous driving scenarios. Additionally, our benchmark analysis reveals the promising viability of PKRD-CoT for other MLLMs, such as Claude, LLava1.6, and Qwen-VL-Plus. Overall, this study contributes a novel and unified prompt-design framework for GPT-4.0 and other MLLMs in autonomous driving, while also rigorously evaluating the efficacy of these widely recognized MLLMs in the autonomous driving domain through comprehensive comparisons.
• Abstract（参考訳）: 自律運転環境において、堅牢なマルチモーダル大言語モデル(MLLM)の機能を活用することへの関心が高まっている。 しかし、エンドツーエンドの自動運転モデルを設計し、訓練することのコストと複雑さは、多くの企業や研究機関にとって困難である。 そこで本研究では,Zero-Shot Chain-of-Thought(Zero-Shot-CoT)のプロンプト設計であるPKRD-CoTを提案し,MLLMの自律走行システムへのシームレスな統合について検討した。 PKRD-CoTは、認識、知識、推論、意思決定の4つの基本的な機能に基づいている。 これは、人間の思考過程を段階的に模倣することで、動的運転環境の理解と対応に特に適しており、それによってリアルタイムシナリオにおける意思決定が強化される。 我々の設計では、MLLMは事前の経験なく問題に対処できるため、非構造自律運転環境における有効性を高めることができる。 実験では, PKRD-CoT を用いた PKRD-CoT を用いた GPT-4.0 の異常な性能を示すとともに, 自律運転シナリオにおけるその有効性を明らかにする。 さらに,ベンチマーク分析により,Claude,LLava1.6,Qwen-VL-Plusなどの他のMLLMに対するPKRD-CoTの有望性を明らかにした。 本研究は, GPT-4.0および他のMLLMの自律運転における新規かつ統一的なプロンプト設計フレームワークを提供するとともに, 総合的な比較を通じて, 自律運転領域におけるこれらの広く認識されているMLLMの有効性を厳密に評価する。

関連論文リスト

• TeLL-Drive: Enhancing Autonomous Driving with Teacher LLM-Guided Deep Reinforcement Learning [61.33599727106222]
  TeLL-Driveは、Teacher LLMを統合して、注意に基づく学生DRLポリシーをガイドするハイブリッドフレームワークである。 自己維持機構はDRLエージェントの探索とこれらの戦略を融合させ、政策収束を加速し、堅牢性を高める。
  論文  参考訳（メタデータ） (2025-02-03T14:22:03Z)
• Large Language Models for Autonomous Driving (LLM4AD): Concept, Benchmark, Experiments, and Challenges [15.52530518623987]
  大規模言語モデル(LLM)は、自律運転システムの様々な側面を強化する可能性を秘めている。 本稿では,自動走行(LLM4AD)のためのLLMの設計概念について紹介する。 LLM4ADシステムの性能とポテンシャルを徹底的に評価し、実世界の車両プラットフォーム上で一連の実験を行う。
  論文  参考訳（メタデータ） (2024-10-20T04:36:19Z)
• Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
  自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。 GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
  論文  参考訳（メタデータ） (2024-05-09T17:52:42Z)
• DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving [69.82743399946371]
  DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。 モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。 このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
  論文  参考訳（メタデータ） (2023-12-14T18:59:05Z)
• LLM4Drive: A Survey of Large Language Models for Autonomous Driving [62.10344445241105]
  大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。 本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
  論文  参考訳（メタデータ） (2023-11-02T07:23:33Z)
• Receive, Reason, and React: Drive as You Say with Large Language Models in Autonomous Vehicles [13.102404404559428]
  本稿では,Large Language Models (LLMs) を利用した自律走行車における意思決定プロセスを強化する新しいフレームワークを提案する。 我々の研究は、自動運転と戦術的意思決定タスクのための環境の集合であるHighwayEnvの実験を含む。 また、リアルタイムのパーソナライズも検討し、LLMが音声コマンドに基づいて運転行動にどう影響するかを示す。
  論文  参考訳（メタデータ） (2023-10-12T04:56:01Z)
• LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [87.1164964709168]
  この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。 大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
  論文  参考訳（メタデータ） (2023-10-04T17:59:49Z)
• DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model [84.29836263441136]
  本研究は,マルチモーダル大言語モデル(MLLM)に基づく新しい解釈可能なエンドツーエンド自動運転システムであるDriveGPT4を紹介する。 DriveGPT4は、車両動作の解釈を促進し、関連する推論を提供し、ユーザによるさまざまな質問に効果的に対処する。
  論文  参考訳（メタデータ） (2023-10-02T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。