論文の概要: DriveDreamer: Towards Real-world-driven World Models for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2309.09777v1
• Date: Mon, 18 Sep 2023 13:58:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 13:10:46.397178
• Title: DriveDreamer: Towards Real-world-driven World Models for Autonomous Driving
• Title（参考訳）: DriveDreamer: 自律運転のための現実世界駆動の世界モデルを目指して
• Authors: Xiaofeng Wang, Zheng Zhu, Guan Huang, Xinze Chen, Jiwen Lu
• Abstract要約: 実世界の運転シナリオから完全に派生した世界モデルであるDriveDreamerを紹介する。 最初の段階では、DriveDreamerは構造化されたトラフィックの制約を深く理解し、次の段階では将来の状態を予測できる。 DriveDreamerは、現実的で合理的な運転ポリシーの生成を可能にし、インタラクションと実用的なアプリケーションのための道を開く。
• 参考スコア（独自算出の注目度）: 79.1116781181185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World models, especially in autonomous driving, are trending and drawing extensive attention due to their capacity for comprehending driving environments. The established world model holds immense potential for the generation of high-quality driving videos, and driving policies for safe maneuvering. However, a critical limitation in relevant research lies in its predominant focus on gaming environments or simulated settings, thereby lacking the representation of real-world driving scenarios. Therefore, we introduce DriveDreamer, a pioneering world model entirely derived from real-world driving scenarios. Regarding that modeling the world in intricate driving scenes entails an overwhelming search space, we propose harnessing the powerful diffusion model to construct a comprehensive representation of the complex environment. Furthermore, we introduce a two-stage training pipeline. In the initial phase, DriveDreamer acquires a deep understanding of structured traffic constraints, while the subsequent stage equips it with the ability to anticipate future states. The proposed DriveDreamer is the first world model established from real-world driving scenarios. We instantiate DriveDreamer on the challenging nuScenes benchmark, and extensive experiments verify that DriveDreamer empowers precise, controllable video generation that faithfully captures the structural constraints of real-world traffic scenarios. Additionally, DriveDreamer enables the generation of realistic and reasonable driving policies, opening avenues for interaction and practical applications.
• Abstract（参考訳）: 世界モデルは、特に自動運転において、運転環境の理解能力のためにトレンドとなり、大きな注目を集めている。 確立された世界モデルは、高品質な運転ビデオの生成と安全な操縦のための運転ポリシーに大きな可能性を秘めている。 しかし、関連する研究における重要な制限は、ゲーム環境やシミュレートされた設定に主眼を置き、現実世界の運転シナリオの表現を欠いていることである。 そこで我々は,現実の運転シナリオから完全に派生した先駆的な世界モデルであるDriveDreamerを紹介した。 複雑な運転シーンにおける世界モデリングは圧倒的な探索空間を必要とするため,複雑な環境を包括的に表現するための強力な拡散モデルを提案する。 さらに,2段階のトレーニングパイプラインも導入する。 最初の段階では、drivedreamerは構造化されたトラフィック制約を深く理解し、続く段階は将来の状態を予測できる能力を備えている。 提案されたDriveDreamerは、現実世界の運転シナリオから確立された最初の世界モデルである。 DriveDreamerを挑戦的なnuScenesベンチマークでインスタンス化し、DriveDreamerが実世界のトラフィックシナリオの構造的制約を忠実に捉えた、正確で制御可能なビデオ生成に有効であることを示す広範な実験を行った。 さらにDriveDreamerは、現実的で合理的な駆動ポリシーの生成を可能にし、インタラクションと実用的なアプリケーションのための道を開く。

関連論文リスト

• Neural World Models for Computer Vision [2.741266294612776]
  深層ニューラルネットワークによってパラメータ化された世界モデルと政策をトレーニングするためのフレームワークを提案する。 我々は、幾何学、意味論、動きといった重要なコンピュータビジョンの概念を活用して、複雑な都市運転シーンに世界モデルを拡張する。 都会の運転環境における静的シーン, 動的シーン, エゴビヘイビアを共同で予測できる。
  論文  参考訳（メタデータ） (2023-06-15T14:58:21Z)
• Model-Based Reinforcement Learning with Isolated Imaginations [65.97707691164558]
  モデルに基づく強化学習手法であるIso-Dream++を提案する。 我々は、切り離された潜在的想像力に基づいて政策最適化を行う。 これにより、野生の混合力学源を孤立させることで、長い水平振動子制御タスクの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-03-27T02:55:56Z)
• Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data [56.49494318285391]
  我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。 これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。 これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
  論文  参考訳（メタデータ） (2022-10-25T17:50:36Z)
• Model-Based Imitation Learning for Urban Driving [26.782783239210087]
  MILE: 世界のモデルと自律運転のポリシーを共同で学習するためのモデルに基づくImitation LEarningアプローチを提案する。 本モデルでは, 都市運転データのオフラインコーパスを用いて, 環境とのオンラインインタラクションを伴わない訓練を行った。 我々のアプローチは、都市運転環境における静的シーン、ダイナミックシーン、エゴビヘイビアをモデル化する最初のカメラのみの手法である。
  論文  参考訳（メタデータ） (2022-10-14T11:59:46Z)
• Tackling Real-World Autonomous Driving using Deep Reinforcement Learning [63.3756530844707]
  本研究では,加速と操舵角度を予測するニューラルネットワークを学習するモデルレスディープ強化学習プランナを提案する。 実際の自動運転車にシステムをデプロイするために、我々は小さなニューラルネットワークで表されるモジュールも開発する。
  論文  参考訳（メタデータ） (2022-07-05T16:33:20Z)
• Data generation using simulation technology to improve perception mechanism of autonomous vehicles [0.0]
  実世界から収集したデータと模擬世界から生成されたデータを組み合わせることで、認識システムを訓練する効果を実証する。 また,人間の学習体験をエミュレートすることを目的とした多段階深層学習知覚フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-01T03:42:33Z)
• Isolating and Leveraging Controllable and Noncontrollable Visual Dynamics in World Models [65.97707691164558]
  Iso-DreamはDream-to-Controlフレームワークを2つの側面で改善する。 まず、逆動力学を最適化することにより、世界モデルに制御可能で制御不能な情報源を学習させることを奨励する。 第2に、エージェントの挙動を世界モデルの切り離された潜在的想像力に最適化する。
  論文  参考訳（メタデータ） (2022-05-27T08:07:39Z)
• Dropout's Dream Land: Generalization from Learned Simulators to Reality [33.9093915440877]
  世界モデルは環境をシミュレートするための生成モデルである。 本研究では,ドリーム環境から現実環境への一般化能力の向上について検討する。 本稿では,ニューラルネットワークのドリーム環境から現実へ移行するコントローラの能力を改善するための一般的なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-17T03:58:56Z)
• SceneGen: Learning to Generate Realistic Traffic Scenes [92.98412203941912]
  私たちは、ルールと分布の必要性を緩和するトラフィックシーンのニューラルオートレグレッシブモデルであるSceneGenを紹介します。 実トラフィックシーンの分布を忠実にモデル化するSceneGenの能力を実証する。
  論文  参考訳（メタデータ） (2021-01-16T22:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。