論文の概要: Model-Based Imitation Learning for Urban Driving
- arxiv url: http://arxiv.org/abs/2210.07729v1
- Date: Fri, 14 Oct 2022 11:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 15:49:26.068750
- Title: Model-Based Imitation Learning for Urban Driving
- Title(参考訳): モデルに基づく都市走行の模倣学習
- Authors: Anthony Hu and Gianluca Corrado and Nicolas Griffiths and Zak Murez
and Corina Gurau and Hudson Yeo and Alex Kendall and Roberto Cipolla and
Jamie Shotton
- Abstract要約: MILE: 世界のモデルと自律運転のポリシーを共同で学習するためのモデルに基づくImitation LEarningアプローチを提案する。
本モデルでは, 都市運転データのオフラインコーパスを用いて, 環境とのオンラインインタラクションを伴わない訓練を行った。
我々のアプローチは、都市運転環境における静的シーン、ダイナミックシーン、エゴビヘイビアをモデル化する最初のカメラのみの手法である。
- 参考スコア(独自算出の注目度): 26.782783239210087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An accurate model of the environment and the dynamic agents acting in it
offers great potential for improving motion planning. We present MILE: a
Model-based Imitation LEarning approach to jointly learn a model of the world
and a policy for autonomous driving. Our method leverages 3D geometry as an
inductive bias and learns a highly compact latent space directly from
high-resolution videos of expert demonstrations. Our model is trained on an
offline corpus of urban driving data, without any online interaction with the
environment. MILE improves upon prior state-of-the-art by 35% in driving score
on the CARLA simulator when deployed in a completely new town and new weather
conditions. Our model can predict diverse and plausible states and actions,
that can be interpretably decoded to bird's-eye view semantic segmentation.
Further, we demonstrate that it can execute complex driving manoeuvres from
plans entirely predicted in imagination. Our approach is the first camera-only
method that models static scene, dynamic scene, and ego-behaviour in an urban
driving environment. The code and model weights are available at
https://github.com/wayveai/mile.
- Abstract(参考訳): 環境の正確なモデルとそれに作用する動的エージェントは、モーションプランニングを改善する大きな可能性を秘めている。
MILE: 世界のモデルと自律運転のポリシーを共同で学習するためのモデルに基づくImitation LEarningアプローチを提案する。
提案手法は3次元幾何学を帰納バイアスとして利用し,高精細映像から高精細な潜伏空間を直接学習する。
本モデルは, 都市運転データのオフラインコーパスを用いて, 環境とのオンラインインタラクションを伴わない訓練を行った。
MILEは、完全に新しい町と新しい気象条件に配備された場合、CARLAシミュレーターの運転スコアを35%向上させる。
本モデルでは,鳥眼ビューセマンティックセマンティックセグメンテーションに解釈可能な多種多様な状態や行動を予測することができる。
さらに,想像で完全に予測された計画から複雑な運転操作を行えることを実証する。
本手法は,都市走行環境における静的シーン,動的シーン,エゴ動作をモデル化する最初のカメラ専用手法である。
コードとモデルの重み付けはhttps://github.com/wayveai/mileで確認できる。
関連論文リスト
- DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model [65.43473733967038]
私たちは、複雑な駆動ダイナミクスを備えたインタラクティブな世界モデルのトレーニング用に作られた最初のデータセットであるDrivingDojoを紹介します。
私たちのデータセットには、完全な運転操作、多様なマルチエージェント・インタープレイ、豊富なオープンワールド運転知識を備えたビデオクリップが含まれています。
論文 参考訳(メタデータ) (2024-10-14T17:19:23Z) - Solving Motion Planning Tasks with a Scalable Generative Model [15.858076912795621]
本稿では,運転シーンのダイナミクスを学習する生成モデルに基づく効率的な解を提案する。
我々の革新的なデザインは、モデルがフルオートレグレッシブモードとパーシャルオートレグレッシブモードの両方で動作できるようにする。
提案した生成モデルは,様々な動作計画タスクの基盤となる可能性がある。
論文 参考訳(メタデータ) (2024-07-03T03:57:05Z) - Urban Scene Diffusion through Semantic Occupancy Map [49.20779809250597]
UrbanDiffusionは、Bird's-Eye View (BEV)マップに条件付き3次元拡散モデルである。
我々のモデルは,潜在空間内のシーンレベルの構造の分布を学習する。
実世界の運転データセットをトレーニングした後、我々のモデルは多様な都市シーンを生成することができる。
論文 参考訳(メタデータ) (2024-03-18T11:54:35Z) - Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting [32.59889755381453]
近年の手法では、走行中の車両のポーズをアニメーションに取り入れてNeRFを拡張し、ダイナミックな街路シーンのリアルな視認を可能にしている。
この制限に対処する新たな明示的なシーン表現であるStreet Gaussiansを紹介します。
提案手法は,全データセットで常に最先端の手法より優れる。
論文 参考訳(メタデータ) (2024-01-02T18:59:55Z) - Neural World Models for Computer Vision [2.741266294612776]
深層ニューラルネットワークによってパラメータ化された世界モデルと政策をトレーニングするためのフレームワークを提案する。
我々は、幾何学、意味論、動きといった重要なコンピュータビジョンの概念を活用して、複雑な都市運転シーンに世界モデルを拡張する。
都会の運転環境における静的シーン, 動的シーン, エゴビヘイビアを共同で予測できる。
論文 参考訳(メタデータ) (2023-06-15T14:58:21Z) - Video Killed the HD-Map: Predicting Multi-Agent Behavior Directly From
Aerial Images [14.689298253430568]
本稿では,最小限のアノテーションを必要とする航空画像ベースマップ(AIM)の表現を提案し,歩行者や車両などの交通機関に道路状況情報を提供する。
以上の結果から,特にAIM表現を用いた歩行者の競合的マルチエージェント軌道予測性能が示された。
論文 参考訳(メタデータ) (2023-05-19T17:48:01Z) - TrafficBots: Towards World Models for Autonomous Driving Simulation and
Motion Prediction [149.5716746789134]
我々は,データ駆動型交通シミュレーションを世界モデルとして定式化できることを示した。
動作予測とエンドツーエンドの運転に基づくマルチエージェントポリシーであるTrafficBotsを紹介する。
オープンモーションデータセットの実験は、TrafficBotsが現実的なマルチエージェント動作をシミュレートできることを示している。
論文 参考訳(メタデータ) (2023-03-07T18:28:41Z) - Policy Pre-training for End-to-end Autonomous Driving via
Self-supervised Geometric Modeling [96.31941517446859]
PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。
本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。
第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。
第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
論文 参考訳(メタデータ) (2023-01-03T08:52:49Z) - End-to-end Interpretable Neural Motion Planner [78.69295676456085]
複雑な都市環境での自律走行学習のためのニューラルモーションプランナー(NMP)を提案する。
我々は,生lidarデータとhdマップを入力とし,解釈可能な中間表現を生成する全体モデルを設計した。
北米のいくつかの都市で収集された実世界の運転データにおける我々のアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2021-01-17T14:16:12Z) - TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。
特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。
TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文 参考訳(メタデータ) (2021-01-17T00:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。