論文の概要: DriveGenVLM: Real-world Video Generation for Vision Language Model based Autonomous Driving
- arxiv url: http://arxiv.org/abs/2408.16647v1
- Date: Thu, 29 Aug 2024 15:52:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 13:12:46.430651
- Title: DriveGenVLM: Real-world Video Generation for Vision Language Model based Autonomous Driving
- Title（参考訳）: DriveGenVLM:ビジョン言語モデルに基づく自律運転のための実世界ビデオ生成
- Authors: Yongjie Fu, Anmol Jain, Xuan Di, Xu Chen, Zhaobin Mo,
- Abstract要約: 視覚言語モデル(VLM)は、自律運転に影響を与える大きな可能性を持つ革命的ツールとして出現している。
本稿では,駆動ビデオを生成するためのDriveGenVLMフレームワークを提案し,それらを理解するためにVLMを使用する。
- 参考スコア（独自算出の注目度）: 12.004604110512421
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advancement of autonomous driving technologies necessitates increasingly sophisticated methods for understanding and predicting real-world scenarios. Vision language models (VLMs) are emerging as revolutionary tools with significant potential to influence autonomous driving. In this paper, we propose the DriveGenVLM framework to generate driving videos and use VLMs to understand them. To achieve this, we employ a video generation framework grounded in denoising diffusion probabilistic models (DDPM) aimed at predicting real-world video sequences. We then explore the adequacy of our generated videos for use in VLMs by employing a pre-trained model known as Efficient In-context Learning on Egocentric Videos (EILEV). The diffusion model is trained with the Waymo open dataset and evaluated using the Fr\'echet Video Distance (FVD) score to ensure the quality and realism of the generated videos. Corresponding narrations are provided by EILEV for these generated videos, which may be beneficial in the autonomous driving domain. These narrations can enhance traffic scene understanding, aid in navigation, and improve planning capabilities. The integration of video generation with VLMs in the DriveGenVLM framework represents a significant step forward in leveraging advanced AI models to address complex challenges in autonomous driving.
- Abstract（参考訳）: 自動運転技術の進歩は、現実のシナリオを理解し予測するための、ますます洗練された方法を必要としている。
視覚言語モデル(VLM)は、自律運転に影響を与える大きな可能性を持つ革命的ツールとして出現している。
本稿では、駆動ビデオを生成し、VLMを用いてそれらを理解するためのDriveGenVLMフレームワークを提案する。
これを実現するために,実世界の映像系列の予測を目的とした拡散確率モデル(DDPM)に基づく映像生成フレームワークを用いる。
EILEV(Efficient In-context Learning on Egocentric Videos)と呼ばれる事前学習モデルを用いて,VLMで使用するビデオの妥当性を検討する。
拡散モデルは、Waymoオープンデータセットを用いてトレーニングされ、Fr\'echet Video Distance(FVD)スコアを使用して、生成されたビデオの品質とリアリズムを保証する。
対応するナレーションは、これらの生成されたビデオに対してEILEVによって提供される。
これらのナレーションは、交通状況の理解を高め、ナビゲーションを支援し、計画能力を向上させる。
DriveGenVLMフレームワークにおけるビデオ生成とVLMの統合は、高度なAIモデルを活用して、自律運転における複雑な課題に対処する上で、大きな一歩となる。
関連論文リスト
- MagicDriveDiT: High-Resolution Long Video Generation for Autonomous Driving with Adaptive Control [68.74166535159311]
本稿では,Ditアーキテクチャに基づく新しいアプローチであるMagicDriveDiTを紹介する。
MagicDriveDiTは、空間的時間的条件エンコーディングを組み込むことで、空間的時間的潜伏量を正確に制御する。
実験では、高解像度でフレーム数の多いリアルなストリートシーンビデオを生成する上で、優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-11-21T03:13:30Z) - Exploring the Interplay Between Video Generation and World Models in Autonomous Driving: A Survey [61.39993881402787]
世界モデルとビデオ生成は、自動運転の領域において重要な技術である。
本稿では,この2つの技術の関係について検討する。
映像生成モデルと世界モデルとの相互作用を分析することにより,重要な課題と今後の研究方向性を明らかにする。
論文 参考訳（メタデータ） (2024-11-05T08:58:35Z) - DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model [65.43473733967038]
私たちは、複雑な駆動ダイナミクスを備えたインタラクティブな世界モデルのトレーニング用に作られた最初のデータセットであるDrivingDojoを紹介します。
私たちのデータセットには、完全な運転操作、多様なマルチエージェント・インタープレイ、豊富なオープンワールド運転知識を備えたビデオクリップが含まれています。
論文 参考訳（メタデータ） (2024-10-14T17:19:23Z) - GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model [6.144680854063938]
GenDDSは、自律運転システムの運転シナリオを生成するための新しいアプローチである。
我々は、実際の運転ビデオを含むKITTIデータセットを使用して、モデルをトレーニングする。
実世界の運転シナリオの複雑さと変動性を密に再現した高品質な運転映像を,我々のモデルで生成できることを実証した。
論文 参考訳（メタデータ） (2024-08-28T15:37:44Z) - CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving [1.727597257312416]
CoVLA(Comprehensive Vision-Language-Action)データセットは、80時間以上にわたる現実世界の運転ビデオで構成されている。
このデータセットは、堅牢で解釈可能で、データ駆動の自動運転システムのためのフレームワークを確立する。
論文 参考訳（メタデータ） (2024-08-19T09:53:49Z) - Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。
GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
論文 参考訳（メタデータ） (2024-05-09T17:52:42Z) - Video as the New Language for Real-World Decision Making [100.68643056416394]
ビデオデータは、言語で表現しにくい物理世界に関する重要な情報をキャプチャする。
ビデオは、インターネットの知識を吸収し、多様なタスクを表現できる統一インターフェースとして機能する。
ロボット工学、自動運転、科学といった分野における大きなインパクトの機会を特定します。
論文 参考訳（メタデータ） (2024-02-27T02:05:29Z) - DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models [31.552397390480525]
視覚言語モデル(VLM)を活用した自律運転システムDriveVLMを紹介する。
DriveVLMは、シーン記述、シーン分析、階層計画のための推論モジュールのユニークな組み合わせを統合している。
本稿では,DriveVLMの強みを従来の自律走行パイプラインと相乗化するハイブリッドシステムであるDriveVLM-Dualを提案する。
論文 参考訳（メタデータ） (2024-02-19T17:04:04Z) - Driving into the Future: Multiview Visual Forecasting and Planning with
World Model for Autonomous Driving [56.381918362410175]
Drive-WMは、既存のエンド・ツー・エンドの計画モデルと互換性のある世界初のドライビングワールドモデルである。
ドライビングシーンで高忠実度マルチビュー映像を生成する。
論文 参考訳（メタデータ） (2023-11-29T18:59:47Z) - Geo-Context Aware Study of Vision-Based Autonomous Driving Models and
Spatial Video Data [9.883009014227815]
視覚に基づくディープラーニング(DL)手法は,大規模クラウドソースのビデオデータセットから自律走行モデルの学習に大きな進歩をもたらした。
我々は,大規模ADMビデオデータとともに,自律運転モデル(ADM)予測のための地理コンテキスト対応可視化システムを開発した。
論文 参考訳（メタデータ） (2021-08-20T17:33:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。