論文の概要: DriveDreamer: Towards Real-world-driven World Models for Autonomous
Driving
- arxiv url: http://arxiv.org/abs/2309.09777v2
- Date: Mon, 27 Nov 2023 05:09:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 14:49:30.113667
- Title: DriveDreamer: Towards Real-world-driven World Models for Autonomous
Driving
- Title(参考訳): DriveDreamer: 自律運転のための現実世界駆動の世界モデルを目指して
- Authors: Xiaofeng Wang, Zheng Zhu, Guan Huang, Xinze Chen, Jiagang Zhu, Jiwen
Lu
- Abstract要約: 実世界の運転シナリオから完全に派生した世界モデルであるDriveDreamerを紹介する。
最初の段階では、DriveDreamerは構造化されたトラフィックの制約を深く理解し、次の段階では将来の状態を予測できる。
DriveDreamerは、現実的で合理的な運転ポリシーの生成を可能にし、インタラクションと実用的なアプリケーションのための道を開く。
- 参考スコア(独自算出の注目度): 76.24483706445298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World models, especially in autonomous driving, are trending and drawing
extensive attention due to their capacity for comprehending driving
environments. The established world model holds immense potential for the
generation of high-quality driving videos, and driving policies for safe
maneuvering. However, a critical limitation in relevant research lies in its
predominant focus on gaming environments or simulated settings, thereby lacking
the representation of real-world driving scenarios. Therefore, we introduce
DriveDreamer, a pioneering world model entirely derived from real-world driving
scenarios. Regarding that modeling the world in intricate driving scenes
entails an overwhelming search space, we propose harnessing the powerful
diffusion model to construct a comprehensive representation of the complex
environment. Furthermore, we introduce a two-stage training pipeline. In the
initial phase, DriveDreamer acquires a deep understanding of structured traffic
constraints, while the subsequent stage equips it with the ability to
anticipate future states. The proposed DriveDreamer is the first world model
established from real-world driving scenarios. We instantiate DriveDreamer on
the challenging nuScenes benchmark, and extensive experiments verify that
DriveDreamer empowers precise, controllable video generation that faithfully
captures the structural constraints of real-world traffic scenarios.
Additionally, DriveDreamer enables the generation of realistic and reasonable
driving policies, opening avenues for interaction and practical applications.
- Abstract(参考訳): 世界モデルは、特に自動運転において、運転環境の理解能力のためにトレンドとなり、大きな注目を集めている。
確立された世界モデルは、高品質な運転ビデオの生成と安全な操縦のための運転ポリシーに大きな可能性を秘めている。
しかし、関連する研究における重要な制限は、ゲーム環境やシミュレートされた設定に主眼を置き、現実世界の運転シナリオの表現を欠いていることである。
そこで我々は,現実の運転シナリオから完全に派生した先駆的な世界モデルであるDriveDreamerを紹介した。
複雑な運転シーンにおける世界モデリングは圧倒的な探索空間を必要とするため,複雑な環境を包括的に表現するための強力な拡散モデルを提案する。
さらに,2段階のトレーニングパイプラインも導入する。
最初の段階では、drivedreamerは構造化されたトラフィック制約を深く理解し、続く段階は将来の状態を予測できる能力を備えている。
提案されたDriveDreamerは、現実世界の運転シナリオから確立された最初の世界モデルである。
DriveDreamerを挑戦的なnuScenesベンチマークでインスタンス化し、DriveDreamerが実世界のトラフィックシナリオの構造的制約を忠実に捉えた、正確で制御可能なビデオ生成に有効であることを示す広範な実験を行った。
さらにDriveDreamerは、現実的で合理的な駆動ポリシーの生成を可能にし、インタラクションと実用的なアプリケーションのための道を開く。
関連論文リスト
- Generalized Predictive Model for Autonomous Driving [75.39517472462089]
本稿では,自動運転分野における最初の大規模ビデオ予測モデルを紹介する。
我々のモデルはGenADと呼ばれ、新しい時間的推論ブロックでシーンを駆動する際の挑戦的なダイナミクスを扱う。
アクション条件付き予測モデルやモーションプランナーに適応することができ、現実世界の運転アプリケーションに大きな可能性を秘めている。
論文 参考訳(メタデータ) (2024-03-14T17:58:33Z) - DriveDreamer-2: LLM-Enhanced World Models for Diverse Driving Video
Generation [33.92429254620946]
本稿では,DriveDreamerをベースとしたDriveDreamer-2を提案する。
最終的に、生成した駆動ビデオの時間的・空間的コヒーレンスを高めるための統一多視点モデルを提案する。
論文 参考訳(メタデータ) (2024-03-11T16:03:35Z) - WorldDreamer: Towards General World Models for Video Generation via
Predicting Masked Tokens [75.02160668328425]
本稿では,世界物理学と運動の包括的理解を促進する先駆的な世界モデルであるWorldDreamerを紹介する。
WorldDreamerは、教師なしのビジュアルシーケンスモデリングチャレンジとして世界モデリングをフレーム化している。
我々の実験によると、WorldDreamerは自然のシーンや運転環境など、さまざまなシナリオでビデオを生成するのに優れています。
論文 参考訳(メタデータ) (2024-01-18T14:01:20Z) - Driving into the Future: Multiview Visual Forecasting and Planning with
World Model for Autonomous Driving [56.381918362410175]
Drive-WMは、既存のエンド・ツー・エンドの計画モデルと互換性のある世界初のドライビングワールドモデルである。
ドライビングシーンで高忠実度マルチビュー映像を生成する。
論文 参考訳(メタデータ) (2023-11-29T18:59:47Z) - Data generation using simulation technology to improve perception
mechanism of autonomous vehicles [0.0]
実世界から収集したデータと模擬世界から生成されたデータを組み合わせることで、認識システムを訓練する効果を実証する。
また,人間の学習体験をエミュレートすることを目的とした多段階深層学習知覚フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-01T03:42:33Z) - Isolating and Leveraging Controllable and Noncontrollable Visual
Dynamics in World Models [65.97707691164558]
Iso-DreamはDream-to-Controlフレームワークを2つの側面で改善する。
まず、逆動力学を最適化することにより、世界モデルに制御可能で制御不能な情報源を学習させることを奨励する。
第2に、エージェントの挙動を世界モデルの切り離された潜在的想像力に最適化する。
論文 参考訳(メタデータ) (2022-05-27T08:07:39Z) - SceneGen: Learning to Generate Realistic Traffic Scenes [92.98412203941912]
私たちは、ルールと分布の必要性を緩和するトラフィックシーンのニューラルオートレグレッシブモデルであるSceneGenを紹介します。
実トラフィックシーンの分布を忠実にモデル化するSceneGenの能力を実証する。
論文 参考訳(メタデータ) (2021-01-16T22:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。