論文の概要: DriveDreamer: Towards Real-world-driven World Models for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2309.09777v1
• Date: Mon, 18 Sep 2023 13:58:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 13:10:46.397178
• Title: DriveDreamer: Towards Real-world-driven World Models for Autonomous Driving
• Title（参考訳）: DriveDreamer: 自律運転のための現実世界駆動の世界モデルを目指して
• Authors: Xiaofeng Wang, Zheng Zhu, Guan Huang, Xinze Chen, Jiwen Lu
• Abstract要約: 実世界の運転シナリオから完全に派生した世界モデルであるDriveDreamerを紹介する。 最初の段階では、DriveDreamerは構造化されたトラフィックの制約を深く理解し、次の段階では将来の状態を予測できる。 DriveDreamerは、現実的で合理的な運転ポリシーの生成を可能にし、インタラクションと実用的なアプリケーションのための道を開く。
• 参考スコア（独自算出の注目度）: 79.1116781181185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World models, especially in autonomous driving, are trending and drawing extensive attention due to their capacity for comprehending driving environments. The established world model holds immense potential for the generation of high-quality driving videos, and driving policies for safe maneuvering. However, a critical limitation in relevant research lies in its predominant focus on gaming environments or simulated settings, thereby lacking the representation of real-world driving scenarios. Therefore, we introduce DriveDreamer, a pioneering world model entirely derived from real-world driving scenarios. Regarding that modeling the world in intricate driving scenes entails an overwhelming search space, we propose harnessing the powerful diffusion model to construct a comprehensive representation of the complex environment. Furthermore, we introduce a two-stage training pipeline. In the initial phase, DriveDreamer acquires a deep understanding of structured traffic constraints, while the subsequent stage equips it with the ability to anticipate future states. The proposed DriveDreamer is the first world model established from real-world driving scenarios. We instantiate DriveDreamer on the challenging nuScenes benchmark, and extensive experiments verify that DriveDreamer empowers precise, controllable video generation that faithfully captures the structural constraints of real-world traffic scenarios. Additionally, DriveDreamer enables the generation of realistic and reasonable driving policies, opening avenues for interaction and practical applications.
• Abstract（参考訳）: 世界モデルは、特に自動運転において、運転環境の理解能力のためにトレンドとなり、大きな注目を集めている。 確立された世界モデルは、高品質な運転ビデオの生成と安全な操縦のための運転ポリシーに大きな可能性を秘めている。 しかし、関連する研究における重要な制限は、ゲーム環境やシミュレートされた設定に主眼を置き、現実世界の運転シナリオの表現を欠いていることである。 そこで我々は,現実の運転シナリオから完全に派生した先駆的な世界モデルであるDriveDreamerを紹介した。 複雑な運転シーンにおける世界モデリングは圧倒的な探索空間を必要とするため,複雑な環境を包括的に表現するための強力な拡散モデルを提案する。 さらに,2段階のトレーニングパイプラインも導入する。 最初の段階では、drivedreamerは構造化されたトラフィック制約を深く理解し、続く段階は将来の状態を予測できる能力を備えている。 提案されたDriveDreamerは、現実世界の運転シナリオから確立された最初の世界モデルである。 DriveDreamerを挑戦的なnuScenesベンチマークでインスタンス化し、DriveDreamerが実世界のトラフィックシナリオの構造的制約を忠実に捉えた、正確で制御可能なビデオ生成に有効であることを示す広範な実験を行った。 さらにDriveDreamerは、現実的で合理的な駆動ポリシーの生成を可能にし、インタラクションと実用的なアプリケーションのための道を開く。

関連論文リスト

• Exploring the Interplay Between Video Generation and World Models in Autonomous Driving: A Survey [61.39993881402787]
  世界モデルとビデオ生成は、自動運転の領域において重要な技術である。 本稿では,この2つの技術の関係について検討する。 映像生成モデルと世界モデルとの相互作用を分析することにより,重要な課題と今後の研究方向性を明らかにする。
  論文  参考訳（メタデータ） (2024-11-05T08:58:35Z)
• DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model [65.43473733967038]
  私たちは、複雑な駆動ダイナミクスを備えたインタラクティブな世界モデルのトレーニング用に作られた最初のデータセットであるDrivingDojoを紹介します。 私たちのデータセットには、完全な運転操作、多様なマルチエージェント・インタープレイ、豊富なオープンワールド運転知識を備えたビデオクリップが含まれています。
  論文  参考訳（メタデータ） (2024-10-14T17:19:23Z)
• DriveArena: A Closed-loop Generative Simulation Platform for Autonomous Driving [30.024309081789053]
  DriveArenaは、実際のシナリオをナビゲートするエージェントを駆動するために設計された、高忠実なクローズドループシミュレーションシステムである。 グローバルなストリートマップ上で現実的なトラフィックフローを生成することのできる交通シミュレータであるTraffic Managerと、無限の自己回帰を持つ高忠実な条件生成モデルであるWorld Dreamerが特徴である。
  論文  参考訳（メタデータ） (2024-08-01T09:32:01Z)
• WorldDreamer: Towards General World Models for Video Generation via Predicting Masked Tokens [75.02160668328425]
  本稿では,世界物理学と運動の包括的理解を促進する先駆的な世界モデルであるWorldDreamerを紹介する。 WorldDreamerは、教師なしのビジュアルシーケンスモデリングチャレンジとして世界モデリングをフレーム化している。 我々の実験によると、WorldDreamerは自然のシーンや運転環境など、さまざまなシナリオでビデオを生成するのに優れています。
  論文  参考訳（メタデータ） (2024-01-18T14:01:20Z)
• Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving [56.381918362410175]
  Drive-WMは、既存のエンド・ツー・エンドの計画モデルと互換性のある世界初のドライビングワールドモデルである。 ドライビングシーンで高忠実度マルチビュー映像を生成する。
  論文  参考訳（メタデータ） (2023-11-29T18:59:47Z)
• SceneGen: Learning to Generate Realistic Traffic Scenes [92.98412203941912]
  私たちは、ルールと分布の必要性を緩和するトラフィックシーンのニューラルオートレグレッシブモデルであるSceneGenを紹介します。 実トラフィックシーンの分布を忠実にモデル化するSceneGenの能力を実証する。
  論文  参考訳（メタデータ） (2021-01-16T22:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。