論文の概要: Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2311.17918v1
• Date: Wed, 29 Nov 2023 18:59:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 20:11:30.768403
• Title: Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving
• Title（参考訳）: 未来へのドライブ: 自律運転のための世界モデルによる多視点視覚予測と計画
• Authors: Yuqi Wang, Jiawei He, Lue Fan, Hongxin Li, Yuntao Chen, Zhaoxiang Zhang
• Abstract要約: Drive-WMは、既存のエンド・ツー・エンドの計画モデルと互換性のある世界初のドライビングワールドモデルである。 ドライビングシーンで高忠実度マルチビュー映像を生成する。
• 参考スコア（独自算出の注目度）: 56.381918362410175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In autonomous driving, predicting future events in advance and evaluating the foreseeable risks empowers autonomous vehicles to better plan their actions, enhancing safety and efficiency on the road. To this end, we propose Drive-WM, the first driving world model compatible with existing end-to-end planning models. Through a joint spatial-temporal modeling facilitated by view factorization, our model generates high-fidelity multiview videos in driving scenes. Building on its powerful generation ability, we showcase the potential of applying the world model for safe driving planning for the first time. Particularly, our Drive-WM enables driving into multiple futures based on distinct driving maneuvers, and determines the optimal trajectory according to the image-based rewards. Evaluation on real-world driving datasets verifies that our method could generate high-quality, consistent, and controllable multiview videos, opening up possibilities for real-world simulations and safe planning.
• Abstract（参考訳）: 自動運転では、将来の出来事を事前に予測し、予測可能なリスクを評価することで、自動運転車は行動の計画を改善し、道路の安全性と効率を高めることができる。 この目的のために、我々は既存のエンド・ツー・エンドの計画モデルと互換性のある最初の駆動世界モデルであるDrive-WMを提案する。 ビューファクタライゼーションによる協調的な空間・時空間モデリングにより,運転シーンにおいて高忠実度マルチビュー映像を生成する。 我々は、その強力な世代能力に基づいて、安全な運転計画に世界モデルを適用する可能性を示す。 特に、ドライブwmは、異なる運転操作に基づいて複数の未来への運転を可能にし、画像に基づく報酬に応じて最適な軌道を決定する。 実世界の運転データセットの評価から,本手法が高品質で一貫した,制御可能なマルチビュービデオを生成することを確認し,実世界のシミュレーションや安全な計画の可能性を開放する。

関連論文リスト

• A Survey of World Models for Autonomous Driving [63.33363128964687]
  自律運転の最近の進歩は、堅牢な世界モデリングの進歩によって推進されている。 本稿では、自律運転の世界モデルにおける最近の進歩を体系的にレビューする。
  論文  参考訳（メタデータ） (2025-01-20T04:00:02Z)
• DrivingWorld: Constructing World Model for Autonomous Driving via Video GPT [33.943125216555316]
  我々は、自動運転のためのGPTスタイルの世界モデルであるDrivingWorldを紹介する。 本稿では,連続フレーム間の時間的コヒーレンスをモデル化する次世代予測手法を提案する。 また,長期ドリフト問題を軽減するため,トークン予測のための新しいマスキング戦略と再重み付け戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-27T07:44:07Z)
• DrivingGPT: Unifying Driving World Modeling and Planning with Multi-modal Autoregressive Transformers [61.92571851411509]
  我々は、インターリーブ画像とアクショントークンに基づくマルチモーダル駆動言語を導入し、共同世界モデリングと計画を学ぶためのDrivingGPTを開発した。 我々のDrivingGPTは、アクション条件付きビデオ生成とエンドツーエンドプランニングの両方において強力なパフォーマンスを示し、大規模なnuPlanとNAVSIMベンチマークにおいて強力なベースラインを達成しています。
  論文  参考訳（メタデータ） (2024-12-24T18:59:37Z)
• DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model [65.43473733967038]
  私たちは、複雑な駆動ダイナミクスを備えたインタラクティブな世界モデルのトレーニング用に作られた最初のデータセットであるDrivingDojoを紹介します。 私たちのデータセットには、完全な運転操作、多様なマルチエージェント・インタープレイ、豊富なオープンワールド運転知識を備えたビデオクリップが含まれています。
  論文  参考訳（メタデータ） (2024-10-14T17:19:23Z)
• Driving in the Occupancy World: Vision-Centric 4D Occupancy Forecasting and Planning via World Models for Autonomous Driving [15.100104512786107]
  Drive-OccWorldは、自動運転のエンドツーエンド計画にビジョン中心の4D予測ワールドモデルを適用する。 制御可能な生成を可能にするために,速度,操舵角度,軌道,指令などの柔軟な動作条件を世界モデルに注入することを提案する。 本手法は,多目的かつ制御可能な4D占有率を創出し,次世代の運転とエンド・ツー・エンド・プランニングの進歩への道を開く。
  論文  参考訳（メタデータ） (2024-08-26T11:53:09Z)
• GenAD: Generalized Predictive Model for Autonomous Driving [75.39517472462089]
  本稿では,自動運転分野における最初の大規模ビデオ予測モデルを紹介する。 我々のモデルはGenADと呼ばれ、新しい時間的推論ブロックでシーンを駆動する際の挑戦的なダイナミクスを扱う。 アクション条件付き予測モデルやモーションプランナーに適応することができ、現実世界の運転アプリケーションに大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-03-14T17:58:33Z)
• End-to-end Interpretable Neural Motion Planner [78.69295676456085]
  複雑な都市環境での自律走行学習のためのニューラルモーションプランナー(NMP)を提案する。 我々は,生lidarデータとhdマップを入力とし,解釈可能な中間表現を生成する全体モデルを設計した。 北米のいくつかの都市で収集された実世界の運転データにおける我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2021-01-17T14:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。