論文の概要: DriveWorld: 4D Pre-trained Scene Understanding via World Models for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2405.04390v1
- Date: Tue, 7 May 2024 15:14:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 13:41:05.413325
- Title: DriveWorld: 4D Pre-trained Scene Understanding via World Models for Autonomous Driving
- Title（参考訳）: DriveWorld: 自動運転のための世界モデルによる4D事前学習シーン理解
- Authors: Chen Min, Dawei Zhao, Liang Xiao, Jian Zhao, Xinli Xu, Zheng Zhu, Lei Jin, Jianshu Li, Yulan Guo, Junliang Xing, Liping Jing, Yiming Nie, Bin Dai,
- Abstract要約: 現在の視覚中心の事前訓練は、通常、2Dまたは3Dのプリテキストタスクに依存し、自律運転の時間的特性を4Dシーン理解タスクとして見落としている。
我々は,マルチカメラ駆動ビデオからテンポラリな方法で事前学習が可能なEmphcentricDriveWorldを紹介した。
DriveWorldは、さまざまな自動運転タスクに関する有望な結果を提供する。
- 参考スコア（独自算出の注目度）: 67.46481099962088
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-centric autonomous driving has recently raised wide attention due to its lower cost. Pre-training is essential for extracting a universal representation. However, current vision-centric pre-training typically relies on either 2D or 3D pre-text tasks, overlooking the temporal characteristics of autonomous driving as a 4D scene understanding task. In this paper, we address this challenge by introducing a world model-based autonomous driving 4D representation learning framework, dubbed \emph{DriveWorld}, which is capable of pre-training from multi-camera driving videos in a spatio-temporal fashion. Specifically, we propose a Memory State-Space Model for spatio-temporal modelling, which consists of a Dynamic Memory Bank module for learning temporal-aware latent dynamics to predict future changes and a Static Scene Propagation module for learning spatial-aware latent statics to offer comprehensive scene contexts. We additionally introduce a Task Prompt to decouple task-aware features for various downstream tasks. The experiments demonstrate that DriveWorld delivers promising results on various autonomous driving tasks. When pre-trained with the OpenScene dataset, DriveWorld achieves a 7.5% increase in mAP for 3D object detection, a 3.0% increase in IoU for online mapping, a 5.0% increase in AMOTA for multi-object tracking, a 0.1m decrease in minADE for motion forecasting, a 3.0% increase in IoU for occupancy prediction, and a 0.34m reduction in average L2 error for planning.
- Abstract（参考訳）: ビジョン中心の自動運転は、最近コストの低さから注目を集めている。
事前学習は普遍表現の抽出に不可欠である。
しかし、現在の視覚中心の事前訓練は、通常、2Dまたは3Dのプリテキストタスクに依存し、自律運転の時間的特性を4Dシーン理解タスクとして見落としている。
本稿では,マルチカメラ駆動ビデオから時空間的に事前学習が可能な,世界モデルに基づく自動運転4D表現学習フレームワーク「emph{DriveWorld}」を導入することで,この問題に対処する。
具体的には、時空間モデリングのためのメモリ状態空間モデルを提案し、将来の変化を予測するための時空間認識潜時ダイナミクスを学習するための動的メモリバンクモジュールと、空間認識潜時静的を学習して総合的なシーンコンテキストを提供する静的シーン伝搬モジュールからなる。
さらに、さまざまな下流タスクのタスク認識機能を分離するTask Promptを導入します。
この実験は、DriveWorldが様々な自動運転タスクに対して有望な結果をもたらすことを示した。
OpenSceneデータセットで事前トレーニングされた場合、DriveWorldは3Dオブジェクト検出のためのmAPの7.5%増加、オンラインマッピングのためのIoUの3.0%増加、多目的追跡のためのAMOTAの5.0%増加、モーション予測のためのminADEの0.1m減少、占有予測のためのIoUの3.0%増加、計画のための平均L2エラーの0.34m減少を達成する。
関連論文リスト
- End-to-End Autonomous Driving without Costly Modularization and 3D Manual Annotation [34.070813293944944]
視覚に基づくエンドツーエンド自動運転(E2EAD)のためのUADを提案する。
私たちのモチベーションは、現在のE2EADモデルが依然として典型的な駆動スタックのモジュラーアーキテクチャを模倣していることに起因しています。
我々のUADは、NUScenesにおける平均衝突速度において、UniADに対して38.7%の相対的な改善を達成し、CARLAのCown05 Longベンチマークの駆動スコアにおいて、VADを41.32ポイント上回っている。
論文 参考訳（メタデータ） (2024-06-25T16:12:52Z) - OccSora: 4D Occupancy Generation Models as World Simulators for Autonomous Driving [62.54220021308464]
自律運転のための3次元世界開発をシミュレートするために,拡散型4次元占有率生成モデルOccSoraを提案する。
OccSoraは、正確な3Dレイアウトと時間的一貫性を備えた16sビデオを生成し、運転シーンの空間的および時間的分布を理解する能力を示す。
論文 参考訳（メタデータ） (2024-05-30T17:59:42Z) - MIM4D: Masked Modeling with Multi-View Video for Autonomous Driving
Representation Learning [38.6654451726187]
MIM4Dはデュアルマスク画像モデリング(MIM)に基づく新しい事前学習パラダイムである
連続的なシーンフローを用いて擬似3D機能を構築し、2次元平面上に投影して監督する。
自動運転における視覚的表現学習のためのnuScenesデータセット上で、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-03-13T17:58:00Z) - UniWorld: Autonomous Driving Pre-training via World Models [12.34628913148789]
このロボットは、UniWorldと呼ばれる空間的時間的世界モデルを用いて、周囲を知覚し、他の参加者の将来の行動を予測する。
ユニワールドは世界の国家に関する行方不明情報を推定し、世界の有望な将来の国家を予測することができる。
UniWorldの事前トレーニングプロセスはラベルなしで、大量の画像-LiDARペアを使用して基礎モデルを構築することができる。
論文 参考訳（メタデータ） (2023-08-14T16:17:13Z) - FSNet: Redesign Self-Supervised MonoDepth for Full-Scale Depth
Prediction for Autonomous Driving [18.02943016671203]
本研究では,自律走行シーンの高精度なスケール認識深度予測のための包括的自己教師型フレームワークを提案する。
特に,FSNetと呼ばれるフルスケール深度予測ネットワークを導入する。
FSNetを使えば、ロボットや車両は1台のカメラしか持たず、訓練用画像フレームやカメラポーズのシーケンスを収集し、余分なラベル付け作業や3Dデータなしで環境の正確な3D深度を推測することができる。
論文 参考訳（メタデータ） (2023-04-21T03:17:04Z) - Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting [58.45661235893729]
有望な自己管理タスクの1つは、注釈のないLiDARシーケンスからの3Dポイントクラウド予測である。
本課題は,(1)センサ外在物(自動運転車の移動),(2)センサ内在物(特定のLiDARセンサに特有のサンプリングパターン),(3)シーン内の他の物体の形状と動きを暗黙的にキャプチャするアルゴリズムを必要とすることを示す。
センサ外在性および内在性に関する4D占有率予測のポイントクラウドデータをレンダリングすることにより、注釈のないLiDARシーケンスで占有率アルゴリズムをトレーニングし、テストすることができる。
論文 参考訳（メタデータ） (2023-02-25T18:12:37Z) - Policy Pre-training for End-to-end Autonomous Driving via
Self-supervised Geometric Modeling [96.31941517446859]
PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。
本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。
第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。
第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
論文 参考訳（メタデータ） (2023-01-03T08:52:49Z) - IntentNet: Learning to Predict Intention from Raw Sensor Data [86.74403297781039]
本論文では,LiDARセンサが生成する3次元点群と,環境の動的なマップの両方を利用するワンステージ検出器と予測器を開発した。
当社のマルチタスクモデルは、それぞれの別々のモジュールよりも高い精度を実現し、計算を節約します。
論文 参考訳（メタデータ） (2021-01-20T00:31:52Z) - Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data
Augmentation [77.60050239225086]
実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。
私達のアプローチは人間の相互作用なしで完全に自動です。
VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
論文 参考訳（メタデータ） (2020-12-15T03:03:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。