論文の概要: CoT-Drive: Efficient Motion Forecasting for Autonomous Driving with LLMs and Chain-of-Thought Prompting
- arxiv url: http://arxiv.org/abs/2503.07234v1
- Date: Mon, 10 Mar 2025 12:17:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:50:42.927806
- Title: CoT-Drive: Efficient Motion Forecasting for Autonomous Driving with LLMs and Chain-of-Thought Prompting
- Title(参考訳): CoT-Drive:LCMとチェーン・オブ・サート・プロンプティングによる自律走行のための効率的なモーション予測
- Authors: Haicheng Liao, Hanlin Kong, Bonan Wang, Chengyue Wang, Wang Ye, Zhengbing He, Chengzhong Xu, Zhenning Li,
- Abstract要約: CoT-Driveは,大規模言語モデル(LLM)とチェーン・オブ・シークレット(CoT)プロンプト手法を活用することで,動き予測を強化する新しい手法である。
我々は,LLMの高度なシーン理解能力を軽量言語モデル(LM)に効果的に伝達する,教師による知識蒸留戦略を導入する。
本稿では,文脈固有の意味アノテーションを生成するための軽量なLMを微調整するための2つのシーン記述データセットであるHighway-TextとUrban-Textを提案する。
- 参考スコア(独自算出の注目度): 14.567180355849501
- License:
- Abstract: Accurate motion forecasting is crucial for safe autonomous driving (AD). This study proposes CoT-Drive, a novel approach that enhances motion forecasting by leveraging large language models (LLMs) and a chain-of-thought (CoT) prompting method. We introduce a teacher-student knowledge distillation strategy to effectively transfer LLMs' advanced scene understanding capabilities to lightweight language models (LMs), ensuring that CoT-Drive operates in real-time on edge devices while maintaining comprehensive scene understanding and generalization capabilities. By leveraging CoT prompting techniques for LLMs without additional training, CoT-Drive generates semantic annotations that significantly improve the understanding of complex traffic environments, thereby boosting the accuracy and robustness of predictions. Additionally, we present two new scene description datasets, Highway-Text and Urban-Text, designed for fine-tuning lightweight LMs to generate context-specific semantic annotations. Comprehensive evaluations of five real-world datasets demonstrate that CoT-Drive outperforms existing models, highlighting its effectiveness and efficiency in handling complex traffic scenarios. Overall, this study is the first to consider the practical application of LLMs in this field. It pioneers the training and use of a lightweight LLM surrogate for motion forecasting, setting a new benchmark and showcasing the potential of integrating LLMs into AD systems.
- Abstract(参考訳): 正確な動き予測は安全自動運転(AD)に不可欠である。
本研究では,大規模言語モデル(LLM)とチェーン・オブ・シークレット(CoT)プロンプト手法を活用することで,動き予測を強化する新しい手法であるCoT-Driveを提案する。
我々は,LLMの先進的なシーン理解能力を軽量言語モデル(LM)に効果的に移行し,CoT-Driveが包括的シーン理解と一般化能力を維持しつつ,エッジデバイス上でリアルタイムに動作することを保証するための教師による知識蒸留戦略を導入する。
CoT-Driveは、余分なトレーニングを伴わずにLLMにCoTプロンプト技術を活用することで、複雑な交通環境の理解を大幅に改善し、予測の精度と堅牢性を高めるセマンティックアノテーションを生成する。
さらに、コンテキスト固有のセマンティックアノテーションを生成する軽量なLMを微調整するための2つの新しいシーン記述データセットであるHighway-TextとUrban-Textを提案する。
実世界の5つのデータセットの総合的な評価は、CoT-Driveが既存のモデルより優れており、複雑なトラフィックシナリオを扱う上での有効性と効率性を強調していることを示している。
本研究は,本分野におけるLLMの実用化を初めて検討したものである。
動き予測のための軽量LLMサロゲートの訓練と使用の先駆者であり、新しいベンチマークを設定し、ADシステムにLLMを統合する可能性を示す。
関連論文リスト
- TeLL-Drive: Enhancing Autonomous Driving with Teacher LLM-Guided Deep Reinforcement Learning [61.33599727106222]
TeLL-Driveは、Teacher LLMを統合して、注意に基づく学生DRLポリシーをガイドするハイブリッドフレームワークである。
自己維持機構はDRLエージェントの探索とこれらの戦略を融合させ、政策収束を加速し、堅牢性を高める。
論文 参考訳(メタデータ) (2025-02-03T14:22:03Z) - SenseRAG: Constructing Environmental Knowledge Bases with Proactive Querying for LLM-Based Autonomous Driving [10.041702058108482]
本研究では,大規模言語モデル(LLM)の文脈推論機能を活用することにより,自律運転(AD)における状況認識の高度化の必要性に対処する。
厳密なラベルベースのアノテーションに依存する従来の認識システムとは異なり、リアルタイムのマルチモーダルセンサーデータを統一されたLLM対応の知識ベースに統合する。
実世界のV2Xデータセットを用いた実験結果は、知覚と予測性能の大幅な改善を示す。
論文 参考訳(メタデータ) (2025-01-07T05:15:46Z) - OWLed: Outlier-weighed Layerwise Pruning for Efficient Autonomous Driving Framework [3.8320050452121692]
本稿では,効率的な自律運転フレームワーク Outlier-Weighed Layerwise Pruning であるOWLedを紹介する。
提案手法は,外乱特性の分布に基づいて,異なる層に対して一様でない空間比を割り当てる。
圧縮モデルが自律運転タスクに適合するようにするため、運転環境データをキャリブレーションとプルーニングの両方に組み込む。
論文 参考訳(メタデータ) (2024-11-12T10:55:30Z) - Strada-LLM: Graph LLM for traffic prediction [62.2015839597764]
交通予測における大きな課題は、非常に異なる交通条件によって引き起こされる多様なデータ分散を扱うことである。
近位交通情報を考慮した交通予測のためのグラフ対応LLMを提案する。
我々は、新しいデータ分散に直面する際に、ドメイン適応を効率的にするための軽量なアプローチを採用する。
論文 参考訳(メタデータ) (2024-10-28T09:19:29Z) - CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。
そこで本研究では,学習バランスを定量的に評価する尺度を提案する。
さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
論文 参考訳(メタデータ) (2024-07-29T23:18:55Z) - Traj-LLM: A New Exploration for Empowering Trajectory Prediction with Pre-trained Large Language Models [12.687494201105066]
本稿では,Traj-LLMを提案する。Large Language Models (LLMs) を用いて,エージェントの過去の/観測された軌跡やシーンセマンティクスから将来の動きを生成する可能性について検討する。
LLMの強力な理解能力は、ハイレベルなシーン知識とインタラクティブな情報のスペクトルを捉えている。
人為的な車線焦点認知機能を模倣し,先駆的なMambaモジュールを用いた車線認識確率論的学習を導入する。
論文 参考訳(メタデータ) (2024-05-08T09:28:04Z) - Improve Temporal Awareness of LLMs for Sequential Recommendation [61.723928508200196]
大規模言語モデル(LLM)は、幅広い汎用タスクを解く際、印象的なゼロショット能力を示した。
LLMは時間的情報の認識と利用に不足しており、シーケンシャルなデータの理解を必要とするタスクではパフォーマンスが悪い。
LLMに基づくシーケンシャルレコメンデーションのために、歴史的相互作用の中で時間情報を利用する3つのプロンプト戦略を提案する。
論文 参考訳(メタデータ) (2024-05-05T00:21:26Z) - Large Language Models Powered Context-aware Motion Prediction in Autonomous Driving [13.879945446114956]
我々はLarge Language Models (LLMs) を用いて、動き予測タスクのグローバルトラフィックコンテキスト理解を強化する。
LLMに関連するコストを考慮すると、コスト効率のよいデプロイメント戦略を提案する。
我々の研究は、LLMの交通シーンの理解と自動運転の動作予測性能を高めるための貴重な洞察を提供する。
論文 参考訳(メタデータ) (2024-03-17T02:06:49Z) - Sparsity-Guided Holistic Explanation for LLMs with Interpretable
Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。
LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。
本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文 参考訳(メタデータ) (2023-12-22T19:55:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。