Fugu-MT 論文翻訳(概要): Large Language Models Powered Context-aware Motion Prediction in Autonomous Driving

論文の概要: Large Language Models Powered Context-aware Motion Prediction in Autonomous Driving

arxiv url: http://arxiv.org/abs/2403.11057v3
Date: Tue, 30 Jul 2024 02:35:52 GMT
ステータス: 処理完了
システム内更新日: 2024-07-31 22:06:02.938225
Title: Large Language Models Powered Context-aware Motion Prediction in Autonomous Driving
Title（参考訳）: 自律運転における文脈認識動作予測を利用した大規模言語モデル
Authors: Xiaoji Zheng, Lixiu Wu, Zhijie Yan, Yuanrong Tang, Hao Zhao, Chen Zhong, Bokui Chen, Jiangtao Gong,
Abstract要約: 我々はLarge Language Models (LLMs) を用いて、動き予測タスクのグローバルトラフィックコンテキスト理解を強化する。 LLMに関連するコストを考慮すると、コスト効率のよいデプロイメント戦略を提案する。我々の研究は、LLMの交通シーンの理解と自動運転の動作予測性能を高めるための貴重な洞察を提供する。
参考スコア（独自算出の注目度）: 13.879945446114956
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Motion prediction is among the most fundamental tasks in autonomous driving. Traditional methods of motion forecasting primarily encode vector information of maps and historical trajectory data of traffic participants, lacking a comprehensive understanding of overall traffic semantics, which in turn affects the performance of prediction tasks. In this paper, we utilized Large Language Models (LLMs) to enhance the global traffic context understanding for motion prediction tasks. We first conducted systematic prompt engineering, visualizing complex traffic environments and historical trajectory information of traffic participants into image prompts -- Transportation Context Map (TC-Map), accompanied by corresponding text prompts. Through this approach, we obtained rich traffic context information from the LLM. By integrating this information into the motion prediction model, we demonstrate that such context can enhance the accuracy of motion predictions. Furthermore, considering the cost associated with LLMs, we propose a cost-effective deployment strategy: enhancing the accuracy of motion prediction tasks at scale with 0.7\% LLM-augmented datasets. Our research offers valuable insights into enhancing the understanding of traffic scenes of LLMs and the motion prediction performance of autonomous driving. The source code is available at \url{https://github.com/AIR-DISCOVER/LLM-Augmented-MTR} and \url{https://aistudio.baidu.com/projectdetail/7809548}.
Abstract（参考訳）: 運動予測は、自律運転における最も基本的なタスクの1つである。従来の動き予測法は、主に地図のベクトル情報と交通参加者の履歴軌跡データをエンコードし、全体的な交通意味論の包括的理解を欠いているため、予測タスクのパフォーマンスに影響を及ぼす。本稿では,Large Language Models (LLMs) を用いて,動き予測タスクのグローバルトラフィックコンテキスト理解を強化する。我々はまず、複雑な交通環境と交通参加者の歴史的軌跡情報を画像プロンプトに可視化する、系統的なプロンプトエンジニアリングを行い、対応するテキストプロンプトを伴ってトランスポートコンテキストマップ(TC-Map)を構築した。このアプローチにより,LLMから豊富なトラフィックコンテキスト情報を得た。この情報を動き予測モデルに統合することにより、動き予測の精度を高めることができることを示す。さらに, LLM に関連するコストを考慮すると, 0.7 % の LLM 拡張データセットを用いて, 大規模での動作予測タスクの精度を向上させる, コスト効率の良い展開戦略を提案する。我々の研究は、LLMの交通シーンの理解と自動運転の動作予測性能を高めるための貴重な洞察を提供する。ソースコードは \url{https://github.com/AIR-DISCOVER/LLM-Augmented-MTR} と \url{https://aistudio.baidu.com/projectdetail/7809548} で入手できる。

関連論文リスト

Strada-LLM: Graph LLM for traffic prediction [62.2015839597764]
交通予測における大きな課題は、非常に異なる交通条件によって引き起こされる多様なデータ分散を扱うことである。近位交通情報を考慮した交通予測のためのグラフ対応LLMを提案する。我々は、新しいデータ分散に直面する際に、ドメイン適応を効率的にするための軽量なアプローチを採用する。
論文参考訳（メタデータ） (2024-10-28T09:19:29Z)
iMotion-LLM: Motion Prediction Instruction Tuning [33.63656257401926]
iMotion-LLM: 対話型マルチエージェントシナリオのガイドに適したトラジェクティブ予測付きマルチモーダル大規模言語モデルを提案する。 iMotion-LLMは、コンテキストに関連のあるトラジェクトリを生成するキー入力としてテキスト命令を利用する。これらの発見は、自律ナビゲーションシステムによるマルチエージェント環境のダイナミクスの解釈と予測を可能にするマイルストーンとして機能する。
論文参考訳（メタデータ） (2024-06-10T12:22:06Z)
Traj-LLM: A New Exploration for Empowering Trajectory Prediction with Pre-trained Large Language Models [12.687494201105066]
本稿では,Traj-LLMを提案する。Large Language Models (LLMs) を用いて,エージェントの過去の/観測された軌跡やシーンセマンティクスから将来の動きを生成する可能性について検討する。 LLMの強力な理解能力は、ハイレベルなシーン知識とインタラクティブな情報のスペクトルを捉えている。人為的な車線焦点認知機能を模倣し,先駆的なMambaモジュールを用いた車線認識確率論的学習を導入する。
論文参考訳（メタデータ） (2024-05-08T09:28:04Z)
Towards Explainable Traffic Flow Prediction with Large Language Models [36.86937188565623]
本稿では,Large Language Models (LLMs) に基づく交通流予測モデルを提案する。マルチモーダルなトラフィックデータを自然言語記述に転送することで、xTP-LLMは複雑な時系列パターンと外部要因を包括的なトラフィックデータからキャプチャする。経験的に、xTP-LLMは、ディープラーニングのベースラインと比較して、競争の正確さを示すと同時に、予測の直感的で信頼性の高い説明を提供する。
論文参考訳（メタデータ） (2024-04-03T07:14:15Z)
A Holistic Framework Towards Vision-based Traffic Signal Control with Microscopic Simulation [53.39174966020085]
交通信号制御(TSC)は交通渋滞を低減し、交通の流れを円滑にし、アイドリング時間を短縮し、CO2排出量を減らすために重要である。本研究では,道路交通の流れを視覚的観察によって調節するTSCのコンピュータビジョンアプローチについて検討する。我々は、視覚ベースのTSCとそのベンチマークに向けて、TrafficDojoと呼ばれる総合的なトラフィックシミュレーションフレームワークを導入する。
論文参考訳（メタデータ） (2024-03-11T16:42:29Z)
TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models [27.306180426294784]
大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
論文参考訳（メタデータ） (2024-03-04T17:08:57Z)
Pre-training on Synthetic Driving Data for Trajectory Prediction [61.520225216107306]
軌道予測におけるデータ不足の問題を緩和するパイプラインレベルのソリューションを提案する。我々は、駆動データを生成するためにHDマップ拡張とトラジェクトリ合成を採用し、それらを事前学習することで表現を学習する。我々は、データ拡張と事前学習戦略の有効性を実証するための広範な実験を行う。
論文参考訳（メタデータ） (2023-09-18T19:49:22Z)
TrafficBots: Towards World Models for Autonomous Driving Simulation and Motion Prediction [149.5716746789134]
我々は,データ駆動型交通シミュレーションを世界モデルとして定式化できることを示した。動作予測とエンドツーエンドの運転に基づくマルチエージェントポリシーであるTrafficBotsを紹介する。オープンモーションデータセットの実験は、TrafficBotsが現実的なマルチエージェント動作をシミュレートできることを示している。
論文参考訳（メタデータ） (2023-03-07T18:28:41Z)
Motion Transformer with Global Intention Localization and Local Movement Refinement [103.75625476231401]
動き TRansformer (MTR) は、大域的意図の局所化と局所的な動きの洗練の合同最適化として、動き予測をモデル化する。 MTRは、限界運動予測と関節運動予測の両方において最先端の性能を達成する。
論文参考訳（メタデータ） (2022-09-27T16:23:14Z)
Implicit Latent Variable Model for Scene-Consistent Motion Forecasting [78.74510891099395]
本稿では,センサデータから直接複雑な都市交通のシーン一貫性のある動き予測を学習することを目的とする。我々は、シーンを相互作用グラフとしてモデル化し、強力なグラフニューラルネットワークを用いてシーンの分散潜在表現を学習する。
論文参考訳（メタデータ） (2020-07-23T14:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。