論文の概要: GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model
- arxiv url: http://arxiv.org/abs/2408.15868v1
- Date: Wed, 28 Aug 2024 15:37:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 15:31:11.287349
- Title: GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model
- Title(参考訳): GenDDS: プロンプト・ツー・ビデオ生成モデルによる横方向駆動型ビデオシナリオの生成
- Authors: Yongjie Fu, Yunlong Li, Xuan Di,
- Abstract要約: GenDDSは、自律運転システムの運転シナリオを生成するための新しいアプローチである。
我々は、実際の運転ビデオを含むKITTIデータセットを使用して、モデルをトレーニングする。
実世界の運転シナリオの複雑さと変動性を密に再現した高品質な運転映像を,我々のモデルで生成できることを実証した。
- 参考スコア(独自算出の注目度): 6.144680854063938
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous driving training requires a diverse range of datasets encompassing various traffic conditions, weather scenarios, and road types. Traditional data augmentation methods often struggle to generate datasets that represent rare occurrences. To address this challenge, we propose GenDDS, a novel approach for generating driving scenarios generation by leveraging the capabilities of Stable Diffusion XL (SDXL), an advanced latent diffusion model. Our methodology involves the use of descriptive prompts to guide the synthesis process, aimed at producing realistic and diverse driving scenarios. With the power of the latest computer vision techniques, such as ControlNet and Hotshot-XL, we have built a complete pipeline for video generation together with SDXL. We employ the KITTI dataset, which includes real-world driving videos, to train the model. Through a series of experiments, we demonstrate that our model can generate high-quality driving videos that closely replicate the complexity and variability of real-world driving scenarios. This research contributes to the development of sophisticated training data for autonomous driving systems and opens new avenues for creating virtual environments for simulation and validation purposes.
- Abstract(参考訳): 自律運転訓練には、様々な交通状況、天候シナリオ、道路タイプを含む多様なデータセットが必要である。
従来のデータ拡張手法は、まれな発生を示すデータセットを生成するのに苦労することが多い。
この課題に対処するために、我々は、高度な潜伏拡散モデルであるSDXL(Stable Diffusion XL)の機能を活用して、駆動シナリオを生成する新しい手法であるGenDDSを提案する。
我々の手法は、現実的で多様な運転シナリオを生成することを目的とした、合成プロセスの指針となる記述的プロンプトの使用を含む。
ControlNetやHotshot-XLといった最新のコンピュータビジョン技術によって、私たちはSDXLとともにビデオ生成のための完全なパイプラインを構築しました。
我々は、実際の運転ビデオを含むKITTIデータセットを使用して、モデルをトレーニングする。
実験を通じて,実世界の運転シナリオの複雑さと変動性を密に再現した高品質な運転映像を,我々のモデルで生成できることを実証した。
本研究は、自律運転システムのための高度なトレーニングデータの開発に寄与し、シミュレーションと検証を目的とした仮想環境を構築するための新たな道を開く。
関連論文リスト
- SimGen: Simulator-conditioned Driving Scene Generation [50.03358485083602]
SimGenは、シミュレータと現実世界のデータを混ぜることで、多様な運転シーンを生成することができる。
SimGenは、テキストプロンプトとシミュレータから取り出されたレイアウトに基づいて、制御性を維持しながら、優れた生成品質と多様性を達成する。
論文 参考訳(メタデータ) (2024-06-13T17:58:32Z) - Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
本研究は,自律運転分野におけるMLLM(Multimodal Large Language Models)の適用に焦点を当てた。
我々は、固定車載カメラの観点から、様々なMLLMの運転能力を世界モデルとして評価する。
以上の結果から,最先端MLLMの現在の能力に重要なギャップがあることが示唆された。
論文 参考訳(メタデータ) (2024-05-09T17:52:42Z) - GenAD: Generalized Predictive Model for Autonomous Driving [75.39517472462089]
本稿では,自動運転分野における最初の大規模ビデオ予測モデルを紹介する。
我々のモデルはGenADと呼ばれ、新しい時間的推論ブロックでシーンを駆動する際の挑戦的なダイナミクスを扱う。
アクション条件付き予測モデルやモーションプランナーに適応することができ、現実世界の運転アプリケーションに大きな可能性を秘めている。
論文 参考訳(メタデータ) (2024-03-14T17:58:33Z) - S-NeRF++: Autonomous Driving Simulation via Neural Reconstruction and
Generation [22.58009231967202]
S-NeRF++は神経再構成に基づく革新的な自律運転シミュレーションシステムである。
S-NeRF++は、nuScenesやradianceなど、広く使われている自動運転データセットでトレーニングされている。
システムは、ノイズとスパースLiDARデータを効果的に利用して、トレーニングを洗練し、奥行きの外れ値に対処する。
論文 参考訳(メタデータ) (2024-02-03T10:35:42Z) - Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous
Driving Research [76.93956925360638]
Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。
TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。
我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
論文 参考訳(メタデータ) (2023-10-12T20:49:15Z) - DriveSceneGen: Generating Diverse and Realistic Driving Scenarios from
Scratch [6.919313701949779]
この研究は、実世界の運転データセットから学習するデータ駆動駆動シナリオ生成メソッドであるDriveSceneGenを紹介する。
DriveSceneGenは、実世界のデータ配信と高い忠実度と多様性を備えた新しい駆動シナリオを生成することができる。
私たちの知る限り、DriveSceneGenは、静的マップ要素と動的トラフィック参加者の両方をスクラッチから含む、新しい駆動シナリオを生成する最初の方法です。
論文 参考訳(メタデータ) (2023-09-26T05:40:43Z) - TrafficBots: Towards World Models for Autonomous Driving Simulation and
Motion Prediction [149.5716746789134]
我々は,データ駆動型交通シミュレーションを世界モデルとして定式化できることを示した。
動作予測とエンドツーエンドの運転に基づくマルチエージェントポリシーであるTrafficBotsを紹介する。
オープンモーションデータセットの実験は、TrafficBotsが現実的なマルチエージェント動作をシミュレートできることを示している。
論文 参考訳(メタデータ) (2023-03-07T18:28:41Z) - Generative AI-empowered Simulation for Autonomous Driving in Vehicular
Mixed Reality Metaverses [130.15554653948897]
車両混合現実(MR)メタバースでは、物理的実体と仮想実体の間の距離を克服することができる。
現実的なデータ収集と物理世界からの融合による大規模交通・運転シミュレーションは困難かつコストがかかる。
生成AIを利用して、無制限の条件付きトラフィックを合成し、シミュレーションでデータを駆動する自律運転アーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-02-16T16:54:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。