論文の概要: AD-L-JEPA: Self-Supervised Spatial World Models with Joint Embedding Predictive Architecture for Autonomous Driving with LiDAR Data
- arxiv url: http://arxiv.org/abs/2501.04969v1
- Date: Thu, 09 Jan 2025 04:47:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-10 13:58:25.476744
- Title: AD-L-JEPA: Self-Supervised Spatial World Models with Joint Embedding Predictive Architecture for Autonomous Driving with LiDAR Data
- Title(参考訳): AD-L-JEPA:LiDARデータを用いた自律走行のための予測アーキテクチャを組み込んだ自己監督型空間世界モデル
- Authors: Haoran Zhu, Zhenyuan Dong, Kristi Topollai, Anna Choromanska,
- Abstract要約: 我々は、LiDARデータを用いた自動運転のための新しい自己教師型事前訓練フレームワークAD-L-JEPAを提案する。
本手法は,空間空間モデルと組込み予測アーキテクチャを併用して学習する。
実験により,AD-L-JEPAは自律運転アプリケーションにおける自己指導型事前訓練に有効なアプローチであることが示された。
- 参考スコア(独自算出の注目度): 7.740094863737019
- License:
- Abstract: As opposed to human drivers, current autonomous driving systems still require vast amounts of labeled data to train. Recently, world models have been proposed to simultaneously enhance autonomous driving capabilities by improving the way these systems understand complex real-world environments and reduce their data demands via self-supervised pre-training. In this paper, we present AD-L-JEPA (aka Autonomous Driving with LiDAR data via a Joint Embedding Predictive Architecture), a novel self-supervised pre-training framework for autonomous driving with LiDAR data that, as opposed to existing methods, is neither generative nor contrastive. Our method learns spatial world models with a joint embedding predictive architecture. Instead of explicitly generating masked unknown regions, our self-supervised world models predict Bird's Eye View (BEV) embeddings to represent the diverse nature of autonomous driving scenes. Our approach furthermore eliminates the need to manually create positive and negative pairs, as is the case in contrastive learning. AD-L-JEPA leads to simpler implementation and enhanced learned representations. We qualitatively and quantitatively demonstrate high-quality of embeddings learned with AD-L-JEPA. We furthermore evaluate the accuracy and label efficiency of AD-L-JEPA on popular downstream tasks such as LiDAR 3D object detection and associated transfer learning. Our experimental evaluation demonstrates that AD-L-JEPA is a plausible approach for self-supervised pre-training in autonomous driving applications and is the best available approach outperforming SOTA, including most recently proposed Occupancy-MAE [1] and ALSO [2]. The source code of AD-L-JEPA is available at https://github.com/HaoranZhuExplorer/AD-L-JEPA-Release.
- Abstract(参考訳): 人間のドライバーとは対照的に、現在の自動運転システムはトレーニングに大量のラベル付きデータを必要とする。
近年,複雑な実環境の理解方法を改善し,自己指導型事前学習によるデータ要求を減らすことにより,自律運転能力を同時に向上する世界モデルが提案されている。
本稿では,既存の手法とは対照的に,従来の手法とは対照的に,自動走行のための新しい自己指導型事前学習フレームワークであるAD-L-JEPAを提案する。
本手法は,空間空間モデルと組込み予測アーキテクチャを併用して学習する。
私たちの自己監督型世界モデルは、マスクされた未知の領域を明示的に生成する代わりに、自律運転シーンの多様な性質を表すために、バードアイビュー(BEV)の埋め込みを予測します。
さらに,本手法では,対照的な学習の場合のように,手動でポジティブなペアやネガティブなペアを作成する必要がなくなる。
AD-L-JEPAはシンプルな実装と学習表現の強化につながる。
AD-L-JEPAで学習した埋め込みの質を質的に定量的に検証した。
さらに、LiDAR 3Dオブジェクト検出や関連する転送学習などの下流タスクにおけるAD-L-JEPAの精度とラベル効率を評価する。
実験により,AD-L-JEPAは自律運転における自己指導型事前訓練の有効なアプローチであり,最近提案されたOccupancy-MAE [1] および ALSO [2] など,SOTA よりも優れた方法であることが示された。
AD-L-JEPAのソースコードはhttps://github.com/HaoranZhuExplorer/AD-L-JEPA-Releaseで公開されている。
関連論文リスト
- FedRAV: Hierarchically Federated Region-Learning for Traffic Object Classification of Autonomous Vehicles [7.8896851741869085]
自動運転車の階層的統合地域学習フレームワーク(FedRAV)を提案する。
FedRAVは、定義された地域距離に基づいて、車両を含む広い領域をサブリージョンに適応的に分割し、パーソナライズされた車両モデルと地域モデルを達成する。
実験の結果、我々のフレームワークはこれらの既知のアルゴリズムより優れており、少なくとも3.69%精度が向上していることがわかった。
論文 参考訳(メタデータ) (2024-11-21T09:45:55Z) - OWLed: Outlier-weighed Layerwise Pruning for Efficient Autonomous Driving Framework [3.8320050452121692]
本稿では,効率的な自律運転フレームワーク Outlier-Weighed Layerwise Pruning であるOWLedを紹介する。
提案手法は,外乱特性の分布に基づいて,異なる層に対して一様でない空間比を割り当てる。
圧縮モデルが自律運転タスクに適合するようにするため、運転環境データをキャリブレーションとプルーニングの両方に組み込む。
論文 参考訳(メタデータ) (2024-11-12T10:55:30Z) - EditFollower: Tunable Car Following Models for Customizable Adaptive Cruise Control Systems [28.263763430300504]
本研究では,データ駆動型自動車追従モデルを提案する。
本モデルは,運転者の社会的嗜好を考慮に入れたACCシステムの開発に有用な知見を提供する。
論文 参考訳(メタデータ) (2024-06-23T15:04:07Z) - AD-H: Autonomous Driving with Hierarchical Agents [64.49185157446297]
我々は,ハイレベル命令と低レベル制御信号を中間言語駆動の命令に接続することを提案する。
我々は、AD-Hという階層型マルチエージェント駆動システムを用いて、このアイデアを実装した。
論文 参考訳(メタデータ) (2024-06-05T17:25:46Z) - DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral
Planning States for Autonomous Driving [69.82743399946371]
DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。
モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。
このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
論文 参考訳(メタデータ) (2023-12-14T18:59:05Z) - Applications of Large Scale Foundation Models for Autonomous Driving [22.651585322658686]
大規模言語モデル(LLM)とチャットシステム、例えばチャットGPTやPaLMは、自然言語処理(NLP)において人工知能(AGI)を実現するための有望な方向性として急速に現れつつある。
本稿では、シミュレーション、世界モデル、データアノテーションと計画、E2Eソリューションなどに分類される、自動運転に応用された基礎モデルとLLMの技術について検討する。
論文 参考訳(メタデータ) (2023-11-20T19:45:27Z) - LLM4Drive: A Survey of Large Language Models for Autonomous Driving [62.10344445241105]
大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。
本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
論文 参考訳(メタデータ) (2023-11-02T07:23:33Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳(メタデータ) (2023-09-21T15:00:31Z) - Unsupervised Self-Driving Attention Prediction via Uncertainty Mining
and Knowledge Embedding [51.8579160500354]
本研究では、不確実性モデリングと知識統合の駆動による自動運転の注意を予測できる教師なし手法を提案する。
結果は、完全に教師された最先端のアプローチと比較して、同等またはさらに印象的なパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-03-17T00:28:33Z) - Integrated Decision and Control for High-Level Automated Vehicles by
Mixed Policy Gradient and Its Experiment Verification [10.393343763237452]
本稿では,IDC(Integrated Decision and Control)に基づく自己進化型意思決定システムを提案する。
制約付き混合ポリシー勾配 (CMPG) と呼ばれるRLアルゴリズムは、IDCの駆動ポリシーを継続的に更新するために提案される。
実験結果から, モデルに基づく手法よりも運転能力の向上が期待できることがわかった。
論文 参考訳(メタデータ) (2022-10-19T14:58:41Z) - Bayesian Optimization and Deep Learning forsteering wheel angle
prediction [58.720142291102135]
本研究の目的は,自動走行システムにおける操舵角度予測の精度の高いモデルを得ることである。
BOは限られた試行数で、BOST-LSTMと呼ばれるモデルを特定し、古典的なエンドツーエンド駆動モデルと比較して最も正確な結果を得た。
論文 参考訳(メタデータ) (2021-10-22T15:25:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。