論文の概要: GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model

• arxiv url: http://arxiv.org/abs/2408.15868v1
• Date: Wed, 28 Aug 2024 15:37:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 15:31:11.287349
• Title: GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model
• Title（参考訳）: GenDDS: プロンプト・ツー・ビデオ生成モデルによる横方向駆動型ビデオシナリオの生成
• Authors: Yongjie Fu, Yunlong Li, Xuan Di,
• Abstract要約: GenDDSは、自律運転システムの運転シナリオを生成するための新しいアプローチである。 我々は、実際の運転ビデオを含むKITTIデータセットを使用して、モデルをトレーニングする。 実世界の運転シナリオの複雑さと変動性を密に再現した高品質な運転映像を,我々のモデルで生成できることを実証した。
• 参考スコア（独自算出の注目度）: 6.144680854063938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous driving training requires a diverse range of datasets encompassing various traffic conditions, weather scenarios, and road types. Traditional data augmentation methods often struggle to generate datasets that represent rare occurrences. To address this challenge, we propose GenDDS, a novel approach for generating driving scenarios generation by leveraging the capabilities of Stable Diffusion XL (SDXL), an advanced latent diffusion model. Our methodology involves the use of descriptive prompts to guide the synthesis process, aimed at producing realistic and diverse driving scenarios. With the power of the latest computer vision techniques, such as ControlNet and Hotshot-XL, we have built a complete pipeline for video generation together with SDXL. We employ the KITTI dataset, which includes real-world driving videos, to train the model. Through a series of experiments, we demonstrate that our model can generate high-quality driving videos that closely replicate the complexity and variability of real-world driving scenarios. This research contributes to the development of sophisticated training data for autonomous driving systems and opens new avenues for creating virtual environments for simulation and validation purposes.
• Abstract（参考訳）: 自律運転訓練には、様々な交通状況、天候シナリオ、道路タイプを含む多様なデータセットが必要である。 従来のデータ拡張手法は、まれな発生を示すデータセットを生成するのに苦労することが多い。 この課題に対処するために、我々は、高度な潜伏拡散モデルであるSDXL(Stable Diffusion XL)の機能を活用して、駆動シナリオを生成する新しい手法であるGenDDSを提案する。 我々の手法は、現実的で多様な運転シナリオを生成することを目的とした、合成プロセスの指針となる記述的プロンプトの使用を含む。 ControlNetやHotshot-XLといった最新のコンピュータビジョン技術によって、私たちはSDXLとともにビデオ生成のための完全なパイプラインを構築しました。 我々は、実際の運転ビデオを含むKITTIデータセットを使用して、モデルをトレーニングする。 実験を通じて,実世界の運転シナリオの複雑さと変動性を密に再現した高品質な運転映像を,我々のモデルで生成できることを実証した。 本研究は、自律運転システムのための高度なトレーニングデータの開発に寄与し、シミュレーションと検証を目的とした仮想環境を構築するための新たな道を開く。

関連論文リスト

• Exploring the Interplay Between Video Generation and World Models in Autonomous Driving: A Survey [61.39993881402787]
  世界モデルとビデオ生成は、自動運転の領域において重要な技術である。 本稿では,この2つの技術の関係について検討する。 映像生成モデルと世界モデルとの相互作用を分析することにより,重要な課題と今後の研究方向性を明らかにする。
  論文  参考訳（メタデータ） (2024-11-05T08:58:35Z)
• DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model [65.43473733967038]
  私たちは、複雑な駆動ダイナミクスを備えたインタラクティブな世界モデルのトレーニング用に作られた最初のデータセットであるDrivingDojoを紹介します。 私たちのデータセットには、完全な運転操作、多様なマルチエージェント・インタープレイ、豊富なオープンワールド運転知識を備えたビデオクリップが含まれています。
  論文  参考訳（メタデータ） (2024-10-14T17:19:23Z)
• DriveGenVLM: Real-world Video Generation for Vision Language Model based Autonomous Driving [12.004604110512421]
  視覚言語モデル(VLM)は、自律運転に影響を与える大きな可能性を持つ革命的ツールとして出現している。 本稿では,駆動ビデオを生成するためのDriveGenVLMフレームワークを提案し,それらを理解するためにVLMを使用する。
  論文  参考訳（メタデータ） (2024-08-29T15:52:56Z)
• Solving Motion Planning Tasks with a Scalable Generative Model [15.858076912795621]
  本稿では,運転シーンのダイナミクスを学習する生成モデルに基づく効率的な解を提案する。 我々の革新的なデザインは、モデルがフルオートレグレッシブモードとパーシャルオートレグレッシブモードの両方で動作できるようにする。 提案した生成モデルは,様々な動作計画タスクの基盤となる可能性がある。
  論文  参考訳（メタデータ） (2024-07-03T03:57:05Z)
• SimGen: Simulator-conditioned Driving Scene Generation [50.03358485083602]
  シミュレーション条件付きシーン生成フレームワークSimGenを紹介する。 SimGenは、シミュレータと現実世界のデータを混ぜることで、多様な運転シーンを生成することを学ぶ。 テキストプロンプトとシミュレータからのレイアウトに基づいて制御性を保ちながら、優れた生成品質と多様性を実現する。
  論文  参考訳（メタデータ） (2024-06-13T17:58:32Z)
• GenAD: Generalized Predictive Model for Autonomous Driving [75.39517472462089]
  本稿では,自動運転分野における最初の大規模ビデオ予測モデルを紹介する。 我々のモデルはGenADと呼ばれ、新しい時間的推論ブロックでシーンを駆動する際の挑戦的なダイナミクスを扱う。 アクション条件付き予測モデルやモーションプランナーに適応することができ、現実世界の運転アプリケーションに大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-03-14T17:58:33Z)
• S-NeRF++: Autonomous Driving Simulation via Neural Reconstruction and Generation [21.501865765631123]
  S-NeRF++は神経再構成に基づく革新的な自律運転シミュレーションシステムである。 S-NeRF++は、nuScenesやradianceなど、広く使われている自動運転データセットでトレーニングされている。 システムは、ノイズとスパースLiDARデータを効果的に利用して、トレーニングを洗練し、奥行きの外れ値に対処する。
  論文  参考訳（メタデータ） (2024-02-03T10:35:42Z)
• Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous Driving Research [76.93956925360638]
  Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。 TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。 我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-10-12T20:49:15Z)
• DriveSceneGen: Generating Diverse and Realistic Driving Scenarios from Scratch [6.919313701949779]
  この研究は、実世界の運転データセットから学習するデータ駆動駆動シナリオ生成メソッドであるDriveSceneGenを紹介する。 DriveSceneGenは、実世界のデータ配信と高い忠実度と多様性を備えた新しい駆動シナリオを生成することができる。 私たちの知る限り、DriveSceneGenは、静的マップ要素と動的トラフィック参加者の両方をスクラッチから含む、新しい駆動シナリオを生成する最初の方法です。
  論文  参考訳（メタデータ） (2023-09-26T05:40:43Z)
• Generative AI-empowered Simulation for Autonomous Driving in Vehicular Mixed Reality Metaverses [130.15554653948897]
  車両混合現実(MR)メタバースでは、物理的実体と仮想実体の間の距離を克服することができる。 現実的なデータ収集と物理世界からの融合による大規模交通・運転シミュレーションは困難かつコストがかかる。 生成AIを利用して、無制限の条件付きトラフィックを合成し、シミュレーションでデータを駆動する自律運転アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-16T16:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。