論文の概要: Driving into the Future: Multiview Visual Forecasting and Planning with
World Model for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2311.17918v1
- Date: Wed, 29 Nov 2023 18:59:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 20:11:30.768403
- Title: Driving into the Future: Multiview Visual Forecasting and Planning with
World Model for Autonomous Driving
- Title(参考訳): 未来へのドライブ: 自律運転のための世界モデルによる多視点視覚予測と計画
- Authors: Yuqi Wang, Jiawei He, Lue Fan, Hongxin Li, Yuntao Chen, Zhaoxiang
Zhang
- Abstract要約: Drive-WMは、既存のエンド・ツー・エンドの計画モデルと互換性のある世界初のドライビングワールドモデルである。
ドライビングシーンで高忠実度マルチビュー映像を生成する。
- 参考スコア(独自算出の注目度): 56.381918362410175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In autonomous driving, predicting future events in advance and evaluating the
foreseeable risks empowers autonomous vehicles to better plan their actions,
enhancing safety and efficiency on the road. To this end, we propose Drive-WM,
the first driving world model compatible with existing end-to-end planning
models. Through a joint spatial-temporal modeling facilitated by view
factorization, our model generates high-fidelity multiview videos in driving
scenes. Building on its powerful generation ability, we showcase the potential
of applying the world model for safe driving planning for the first time.
Particularly, our Drive-WM enables driving into multiple futures based on
distinct driving maneuvers, and determines the optimal trajectory according to
the image-based rewards. Evaluation on real-world driving datasets verifies
that our method could generate high-quality, consistent, and controllable
multiview videos, opening up possibilities for real-world simulations and safe
planning.
- Abstract(参考訳): 自動運転では、将来の出来事を事前に予測し、予測可能なリスクを評価することで、自動運転車は行動の計画を改善し、道路の安全性と効率を高めることができる。
この目的のために、我々は既存のエンド・ツー・エンドの計画モデルと互換性のある最初の駆動世界モデルであるDrive-WMを提案する。
ビューファクタライゼーションによる協調的な空間・時空間モデリングにより,運転シーンにおいて高忠実度マルチビュー映像を生成する。
我々は、その強力な世代能力に基づいて、安全な運転計画に世界モデルを適用する可能性を示す。
特に、ドライブwmは、異なる運転操作に基づいて複数の未来への運転を可能にし、画像に基づく報酬に応じて最適な軌道を決定する。
実世界の運転データセットの評価から,本手法が高品質で一貫した,制御可能なマルチビュービデオを生成することを確認し,実世界のシミュレーションや安全な計画の可能性を開放する。
関連論文リスト
- Generalized Predictive Model for Autonomous Driving [75.39517472462089]
本稿では,自動運転分野における最初の大規模ビデオ予測モデルを紹介する。
我々のモデルはGenADと呼ばれ、新しい時間的推論ブロックでシーンを駆動する際の挑戦的なダイナミクスを扱う。
アクション条件付き予測モデルやモーションプランナーに適応することができ、現実世界の運転アプリケーションに大きな可能性を秘めている。
論文 参考訳(メタデータ) (2024-03-14T17:58:33Z) - GAIA-1: A Generative World Model for Autonomous Driving [9.578453700755318]
本稿では,現実的な運転シナリオを生成する生成的世界モデルであるGAIA-1(Generative AI for Autonomy)を紹介する。
我々のモデルからの創発的特性には、高レベルの構造やシーンダイナミクス、文脈認識、一般化、幾何学の理解などが含まれる。
論文 参考訳(メタデータ) (2023-09-29T09:20:37Z) - Interpretable and Flexible Target-Conditioned Neural Planners For
Autonomous Vehicles [22.396215670672852]
以前の作業では、1つの計画軌跡を見積もることしか学ばず、現実のシナリオでは複数の許容可能な計画が存在する場合もあります。
本稿では,自律走行車における鳥の視線における複数の潜在的目標を効果的に表現する,熱マップを回帰する解釈可能なニューラルプランナーを提案する。
Lyft Openデータセットの体系的な評価から、当社のモデルは、以前の作業よりも安全で柔軟な運転パフォーマンスを実現しています。
論文 参考訳(メタデータ) (2023-09-23T22:13:03Z) - Rethinking Integration of Prediction and Planning in Deep Learning-Based
Automated Driving Systems: A Review [62.997667081978825]
最近の研究は、安全で効率的で快適な運転を実現するためには、相互依存のジョイントステップにおける予測と計画の統合が必要であることを示唆している。
我々は、最先端のディープラーニングベースの予測、計画、統合予測と計画モデルについて体系的にレビューする。
論文 参考訳(メタデータ) (2023-08-10T17:53:03Z) - TrafficBots: Towards World Models for Autonomous Driving Simulation and
Motion Prediction [149.5716746789134]
我々は,データ駆動型交通シミュレーションを世界モデルとして定式化できることを示した。
動作予測とエンドツーエンドの運転に基づくマルチエージェントポリシーであるTrafficBotsを紹介する。
オープンモーションデータセットの実験は、TrafficBotsが現実的なマルチエージェント動作をシミュレートできることを示している。
論文 参考訳(メタデータ) (2023-03-07T18:28:41Z) - Learning Interpretable End-to-End Vision-Based Motion Planning for
Autonomous Driving with Optical Flow Distillation [11.638798976654327]
IVMPは、自動運転のための解釈可能なエンドツーエンドのビジョンベースのモーションプランニングアプローチです。
我々は,実時間性能を維持しつつネットワークを効果的に強化できる光フロー蒸留パラダイムを開発した。
我々のIVMPは、人間ドライバーをはるかに高い成功率で模倣する最先端のアプローチを著しく上回っています。
論文 参考訳(メタデータ) (2021-04-18T13:51:25Z) - End-to-end Interpretable Neural Motion Planner [78.69295676456085]
複雑な都市環境での自律走行学習のためのニューラルモーションプランナー(NMP)を提案する。
我々は,生lidarデータとhdマップを入力とし,解釈可能な中間表現を生成する全体モデルを設計した。
北米のいくつかの都市で収集された実世界の運転データにおける我々のアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2021-01-17T14:16:12Z) - LookOut: Diverse Multi-Future Prediction and Planning for Self-Driving [139.33800431159446]
LookOutは、環境を共同で知覚し、センサーデータから様々な未来を予測するアプローチである。
本モデルでは,大規模自動運転データセットにおいて,より多様性があり,サンプル効率のよい動き予測を行う。
論文 参考訳(メタデータ) (2021-01-16T23:19:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。