論文の概要: Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2311.17918v1
• Date: Wed, 29 Nov 2023 18:59:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 20:11:30.768403
• Title: Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving
• Title（参考訳）: 未来へのドライブ: 自律運転のための世界モデルによる多視点視覚予測と計画
• Authors: Yuqi Wang, Jiawei He, Lue Fan, Hongxin Li, Yuntao Chen, Zhaoxiang Zhang
• Abstract要約: Drive-WMは、既存のエンド・ツー・エンドの計画モデルと互換性のある世界初のドライビングワールドモデルである。 ドライビングシーンで高忠実度マルチビュー映像を生成する。
• 参考スコア（独自算出の注目度）: 56.381918362410175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In autonomous driving, predicting future events in advance and evaluating the foreseeable risks empowers autonomous vehicles to better plan their actions, enhancing safety and efficiency on the road. To this end, we propose Drive-WM, the first driving world model compatible with existing end-to-end planning models. Through a joint spatial-temporal modeling facilitated by view factorization, our model generates high-fidelity multiview videos in driving scenes. Building on its powerful generation ability, we showcase the potential of applying the world model for safe driving planning for the first time. Particularly, our Drive-WM enables driving into multiple futures based on distinct driving maneuvers, and determines the optimal trajectory according to the image-based rewards. Evaluation on real-world driving datasets verifies that our method could generate high-quality, consistent, and controllable multiview videos, opening up possibilities for real-world simulations and safe planning.
• Abstract（参考訳）: 自動運転では、将来の出来事を事前に予測し、予測可能なリスクを評価することで、自動運転車は行動の計画を改善し、道路の安全性と効率を高めることができる。 この目的のために、我々は既存のエンド・ツー・エンドの計画モデルと互換性のある最初の駆動世界モデルであるDrive-WMを提案する。 ビューファクタライゼーションによる協調的な空間・時空間モデリングにより,運転シーンにおいて高忠実度マルチビュー映像を生成する。 我々は、その強力な世代能力に基づいて、安全な運転計画に世界モデルを適用する可能性を示す。 特に、ドライブwmは、異なる運転操作に基づいて複数の未来への運転を可能にし、画像に基づく報酬に応じて最適な軌道を決定する。 実世界の運転データセットの評価から,本手法が高品質で一貫した,制御可能なマルチビュービデオを生成することを確認し,実世界のシミュレーションや安全な計画の可能性を開放する。

関連論文リスト

• Exploring the Interplay Between Video Generation and World Models in Autonomous Driving: A Survey [61.39993881402787]
  世界モデルとビデオ生成は、自動運転の領域において重要な技術である。 本稿では,この2つの技術の関係について検討する。 映像生成モデルと世界モデルとの相互作用を分析することにより,重要な課題と今後の研究方向性を明らかにする。
  論文  参考訳（メタデータ） (2024-11-05T08:58:35Z)
• DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model [65.43473733967038]
  私たちは、複雑な駆動ダイナミクスを備えたインタラクティブな世界モデルのトレーニング用に作られた最初のデータセットであるDrivingDojoを紹介します。 私たちのデータセットには、完全な運転操作、多様なマルチエージェント・インタープレイ、豊富なオープンワールド運転知識を備えたビデオクリップが含まれています。
  論文  参考訳（メタデータ） (2024-10-14T17:19:23Z)
• Driving in the Occupancy World: Vision-Centric 4D Occupancy Forecasting and Planning via World Models for Autonomous Driving [15.100104512786107]
  Drive-OccWorldは、自動運転のエンドツーエンド計画にビジョン中心の4D予測ワールドモデルを適用する。 本研究では, 速度, 操舵角度, 軌道, 指令などの柔軟な動作条件を世界モデルに注入することを提案する。 nuScenesデータセットの実験により,本手法は可塑性かつ制御可能な4D占有率を生成可能であることが示された。
  論文  参考訳（メタデータ） (2024-08-26T11:53:09Z)
• GenAD: Generalized Predictive Model for Autonomous Driving [75.39517472462089]
  本稿では,自動運転分野における最初の大規模ビデオ予測モデルを紹介する。 我々のモデルはGenADと呼ばれ、新しい時間的推論ブロックでシーンを駆動する際の挑戦的なダイナミクスを扱う。 アクション条件付き予測モデルやモーションプランナーに適応することができ、現実世界の運転アプリケーションに大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-03-14T17:58:33Z)
• GAIA-1: A Generative World Model for Autonomous Driving [9.578453700755318]
  本稿では,現実的な運転シナリオを生成する生成的世界モデルであるGAIA-1(Generative AI for Autonomy)を紹介する。 我々のモデルからの創発的特性には、高レベルの構造やシーンダイナミクス、文脈認識、一般化、幾何学の理解などが含まれる。
  論文  参考訳（メタデータ） (2023-09-29T09:20:37Z)
• Interpretable and Flexible Target-Conditioned Neural Planners For Autonomous Vehicles [22.396215670672852]
  以前の作業では、1つの計画軌跡を見積もることしか学ばず、現実のシナリオでは複数の許容可能な計画が存在する場合もあります。 本稿では,自律走行車における鳥の視線における複数の潜在的目標を効果的に表現する,熱マップを回帰する解釈可能なニューラルプランナーを提案する。 Lyft Openデータセットの体系的な評価から、当社のモデルは、以前の作業よりも安全で柔軟な運転パフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-09-23T22:13:03Z)
• End-to-end Interpretable Neural Motion Planner [78.69295676456085]
  複雑な都市環境での自律走行学習のためのニューラルモーションプランナー(NMP)を提案する。 我々は,生lidarデータとhdマップを入力とし,解釈可能な中間表現を生成する全体モデルを設計した。 北米のいくつかの都市で収集された実世界の運転データにおける我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2021-01-17T14:16:12Z)
• LookOut: Diverse Multi-Future Prediction and Planning for Self-Driving [139.33800431159446]
  LookOutは、環境を共同で知覚し、センサーデータから様々な未来を予測するアプローチである。 本モデルでは,大規模自動運転データセットにおいて,より多様性があり,サンプル効率のよい動き予測を行う。
  論文  参考訳（メタデータ） (2021-01-16T23:19:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。