論文の概要: SimpleLLM4AD: An End-to-End Vision-Language Model with Graph Visual Question Answering for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2407.21293v1
• Date: Wed, 31 Jul 2024 02:35:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 18:51:29.134478
• Title: SimpleLLM4AD: An End-to-End Vision-Language Model with Graph Visual Question Answering for Autonomous Driving
• Title（参考訳）: SimpleLLM4AD: 自動走行のためのグラフ視覚質問応答を用いたエンドツーエンドビジョンランゲージモデル
• Authors: Peiru Zheng, Yun Zhao, Zhan Gong, Hong Zhu, Shaohua Wu,
• Abstract要約: 我々はSimpleLLM4ADと呼ばれるe2eAD法を提案する。 本手法では,e2eADタスクは知覚,予測,計画,行動の4段階に分けられる。 我々の実験は、SimpleLLM4ADが複雑な運転シナリオで競合性能を達成することを示した。
• 参考スコア（独自算出の注目度）: 15.551625571158056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many fields could benefit from the rapid development of the large language models (LLMs). The end-to-end autonomous driving (e2eAD) is one of the typically fields facing new opportunities as the LLMs have supported more and more modalities. Here, by utilizing vision-language model (VLM), we proposed an e2eAD method called SimpleLLM4AD. In our method, the e2eAD task are divided into four stages, which are perception, prediction, planning, and behavior. Each stage consists of several visual question answering (VQA) pairs and VQA pairs interconnect with each other constructing a graph called Graph VQA (GVQA). By reasoning each VQA pair in the GVQA through VLM stage by stage, our method could achieve e2e driving with language. In our method, vision transformers (ViT) models are employed to process nuScenes visual data, while VLM are utilized to interpret and reason about the information extracted from the visual inputs. In the perception stage, the system identifies and classifies objects from the driving environment. The prediction stage involves forecasting the potential movements of these objects. The planning stage utilizes the gathered information to develop a driving strategy, ensuring the safety and efficiency of the autonomous vehicle. Finally, the behavior stage translates the planned actions into executable commands for the vehicle. Our experiments demonstrate that SimpleLLM4AD achieves competitive performance in complex driving scenarios.
• Abstract（参考訳）: 多くの分野は、大規模言語モデル(LLM)の急速な発展の恩恵を受けることができる。 エンド・ツー・エンドの自動運転(e2eAD)は、LLMがより多くのモダリティをサポートしてきたため、一般的に新しい機会に直面する分野の1つである。 本稿では,視覚言語モデル(VLM)を用いて,SimpleLLM4ADと呼ばれるe2eAD手法を提案する。 本手法では,e2eADタスクは知覚,予測,計画,行動の4段階に分けられる。 各ステージは、複数の視覚的質問応答(VQA)ペアと、グラフVQA(GVQA)と呼ばれるグラフを構成するVQAペアで構成されている。 GVQAの各VQAペアをステージ毎に解析することにより,言語によるe2e駆動を実現することができた。 本手法では、視覚変換器(ViT)モデルを用いてヌースシーンの視覚データを処理し、VLMを用いて視覚入力から抽出した情報を解釈・解析する。 認識段階では、システムは運転環境から物体を特定し、分類する。 予測段階は、これらの物体の潜在的な動きを予測することを含む。 計画段階は、収集した情報を利用して運転戦略を策定し、自動運転車の安全性と効率を確保する。 最後に、行動段階は、計画されたアクションを車両の実行可能なコマンドに変換する。 我々の実験は、SimpleLLM4ADが複雑な運転シナリオで競合性能を達成することを示した。

関連論文リスト

• How to Build a Pre-trained Multimodal model for Simultaneously Chatting and Decision-making? [14.599617146656335]
  私たちは、VLA4CD(Chatting and Decision Making)のためのVisual Language Action Modelと呼ばれる新しいモデルアーキテクチャを開発した。 我々はLoRAを利用して、言語、視覚、行動をカバーする複数のモダリティのデータを用いて、事前訓練されたLLMを微調整する。 これらの設計により、VLA4CDはテキスト応答を出力しながら連続的に評価されたアクション決定を提供することができる。
  論文  参考訳（メタデータ） (2024-10-21T11:02:42Z)
• CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving [1.727597257312416]
  CoVLA(Comprehensive Vision-Language-Action)データセットは、80時間以上にわたる現実世界の運転ビデオで構成されている。 このデータセットは、堅牢で解釈可能で、データ駆動の自動運転システムのためのフレームワークを確立する。
  論文  参考訳（メタデータ） (2024-08-19T09:53:49Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  視覚言語モデル(VLM)は、状態情報を視覚的テキストのプロンプトとして処理し、テキスト内のポリシー決定に応答することができる。 LLaRA:Large Language and Robotics Assistantは,ロボットの行動ポリシーを会話として定式化するフレームワークである。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• Multi-Frame, Lightweight & Efficient Vision-Language Models for Question Answering in Autonomous Driving [0.0]
  我々は,自律運転のための視覚質問応答を行う,効率的で軽量な多フレーム視覚言語モデルを開発した。 従来のアプローチと比較して、EM-VLM4ADは少なくとも10倍のメモリと浮動小数点演算を必要とする。
  論文  参考訳（メタデータ） (2024-03-28T21:18:33Z)
• DriveLM: Driving with Graph Visual Question Answering [57.51930417790141]
  本研究では,Webスケールデータに基づいて学習した視覚言語モデル(VLM)を,エンド・ツー・エンドの運転システムに統合する方法について検討する。 グラフVQAとエンドツーエンド駆動を併用するVLMベースラインアプローチ(DriveLM-Agent)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:12Z)
• DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving [69.82743399946371]
  DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。 モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。 このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
  論文  参考訳（メタデータ） (2023-12-14T18:59:05Z)
• DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model [84.29836263441136]
  本研究は,マルチモーダル大言語モデル(MLLM)に基づく新しい解釈可能なエンドツーエンド自動運転システムであるDriveGPT4を紹介する。 DriveGPT4は、車両動作の解釈を促進し、関連する推論を提供し、ユーザによるさまざまな質問に効果的に対処する。
  論文  参考訳（メタデータ） (2023-10-02T17:59:52Z)
• Policy Pre-training for End-to-end Autonomous Driving via Self-supervised Geometric Modeling [96.31941517446859]
  PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。 本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。 第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。 第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
  論文  参考訳（メタデータ） (2023-01-03T08:52:49Z)
• Connecting Language and Vision for Natural Language-Based Vehicle Retrieval [77.88818029640977]
  本稿では,言語記述という新たなモダリティを,興味ある車両の探索に適用する。 言語と視覚を結びつけるために,トランスフォーマーに基づく言語モデルを用いて最先端の視覚モデルを共同で訓練することを提案する。 提案手法は第5回AIシティチャレンジで1位を獲得し、18.69%のMRRの精度で競争性能を得た。
  論文  参考訳（メタデータ） (2021-05-31T11:42:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。