論文の概要: AD-L-JEPA: Self-Supervised Spatial World Models with Joint Embedding Predictive Architecture for Autonomous Driving with LiDAR Data
- arxiv url: http://arxiv.org/abs/2501.04969v1
- Date: Thu, 09 Jan 2025 04:47:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-10 13:58:25.476744
- Title: AD-L-JEPA: Self-Supervised Spatial World Models with Joint Embedding Predictive Architecture for Autonomous Driving with LiDAR Data
- Title(参考訳): AD-L-JEPA:LiDARデータを用いた自律走行のための予測アーキテクチャを組み込んだ自己監督型空間世界モデル
- Authors: Haoran Zhu, Zhenyuan Dong, Kristi Topollai, Anna Choromanska,
- Abstract要約: 我々は、LiDARデータを用いた自動運転のための新しい自己教師型事前訓練フレームワークAD-L-JEPAを提案する。
本手法は,空間空間モデルと組込み予測アーキテクチャを併用して学習する。
実験により,AD-L-JEPAは自律運転アプリケーションにおける自己指導型事前訓練に有効なアプローチであることが示された。
- 参考スコア(独自算出の注目度): 7.740094863737019
- License:
- Abstract: As opposed to human drivers, current autonomous driving systems still require vast amounts of labeled data to train. Recently, world models have been proposed to simultaneously enhance autonomous driving capabilities by improving the way these systems understand complex real-world environments and reduce their data demands via self-supervised pre-training. In this paper, we present AD-L-JEPA (aka Autonomous Driving with LiDAR data via a Joint Embedding Predictive Architecture), a novel self-supervised pre-training framework for autonomous driving with LiDAR data that, as opposed to existing methods, is neither generative nor contrastive. Our method learns spatial world models with a joint embedding predictive architecture. Instead of explicitly generating masked unknown regions, our self-supervised world models predict Bird's Eye View (BEV) embeddings to represent the diverse nature of autonomous driving scenes. Our approach furthermore eliminates the need to manually create positive and negative pairs, as is the case in contrastive learning. AD-L-JEPA leads to simpler implementation and enhanced learned representations. We qualitatively and quantitatively demonstrate high-quality of embeddings learned with AD-L-JEPA. We furthermore evaluate the accuracy and label efficiency of AD-L-JEPA on popular downstream tasks such as LiDAR 3D object detection and associated transfer learning. Our experimental evaluation demonstrates that AD-L-JEPA is a plausible approach for self-supervised pre-training in autonomous driving applications and is the best available approach outperforming SOTA, including most recently proposed Occupancy-MAE [1] and ALSO [2]. The source code of AD-L-JEPA is available at https://github.com/HaoranZhuExplorer/AD-L-JEPA-Release.
- Abstract(参考訳): 人間のドライバーとは対照的に、現在の自動運転システムはトレーニングに大量のラベル付きデータを必要とする。
近年,複雑な実環境の理解方法を改善し,自己指導型事前学習によるデータ要求を減らすことにより,自律運転能力を同時に向上する世界モデルが提案されている。
本稿では,既存の手法とは対照的に,従来の手法とは対照的に,自動走行のための新しい自己指導型事前学習フレームワークであるAD-L-JEPAを提案する。
本手法は,空間空間モデルと組込み予測アーキテクチャを併用して学習する。
私たちの自己監督型世界モデルは、マスクされた未知の領域を明示的に生成する代わりに、自律運転シーンの多様な性質を表すために、バードアイビュー(BEV)の埋め込みを予測します。
さらに,本手法では,対照的な学習の場合のように,手動でポジティブなペアやネガティブなペアを作成する必要がなくなる。
AD-L-JEPAはシンプルな実装と学習表現の強化につながる。
AD-L-JEPAで学習した埋め込みの質を質的に定量的に検証した。
さらに、LiDAR 3Dオブジェクト検出や関連する転送学習などの下流タスクにおけるAD-L-JEPAの精度とラベル効率を評価する。
実験により,AD-L-JEPAは自律運転における自己指導型事前訓練の有効なアプローチであり,最近提案されたOccupancy-MAE [1] および ALSO [2] など,SOTA よりも優れた方法であることが示された。
AD-L-JEPAのソースコードはhttps://github.com/HaoranZhuExplorer/AD-L-JEPA-Releaseで公開されている。
関連論文リスト
- The Role of World Models in Shaping Autonomous Driving: A Comprehensive Survey [50.62538723793247]
ドライビング・ワールド・モデル(DWM)は、ドライビング・プロセス中のシーンの進化を予測することに焦点を当てている。
DWM法は、自律運転システムが動的運転環境をよりよく知覚し、理解し、相互作用することを可能にする。
論文 参考訳(メタデータ) (2025-02-14T18:43:15Z) - TeLL-Drive: Enhancing Autonomous Driving with Teacher LLM-Guided Deep Reinforcement Learning [61.33599727106222]
TeLL-Driveは、Teacher LLMを統合して、注意に基づく学生DRLポリシーをガイドするハイブリッドフレームワークである。
自己維持機構はDRLエージェントの探索とこれらの戦略を融合させ、政策収束を加速し、堅牢性を高める。
論文 参考訳(メタデータ) (2025-02-03T14:22:03Z) - FedRAV: Hierarchically Federated Region-Learning for Traffic Object Classification of Autonomous Vehicles [7.8896851741869085]
自動運転車の階層的統合地域学習フレームワーク(FedRAV)を提案する。
FedRAVは、定義された地域距離に基づいて、車両を含む広い領域をサブリージョンに適応的に分割し、パーソナライズされた車両モデルと地域モデルを達成する。
実験の結果、我々のフレームワークはこれらの既知のアルゴリズムより優れており、少なくとも3.69%精度が向上していることがわかった。
論文 参考訳(メタデータ) (2024-11-21T09:45:55Z) - OWLed: Outlier-weighed Layerwise Pruning for Efficient Autonomous Driving Framework [3.8320050452121692]
本稿では,効率的な自律運転フレームワーク Outlier-Weighed Layerwise Pruning であるOWLedを紹介する。
提案手法は,外乱特性の分布に基づいて,異なる層に対して一様でない空間比を割り当てる。
圧縮モデルが自律運転タスクに適合するようにするため、運転環境データをキャリブレーションとプルーニングの両方に組み込む。
論文 参考訳(メタデータ) (2024-11-12T10:55:30Z) - EditFollower: Tunable Car Following Models for Customizable Adaptive Cruise Control Systems [28.263763430300504]
本研究では,データ駆動型自動車追従モデルを提案する。
本モデルは,運転者の社会的嗜好を考慮に入れたACCシステムの開発に有用な知見を提供する。
論文 参考訳(メタデータ) (2024-06-23T15:04:07Z) - AD-H: Autonomous Driving with Hierarchical Agents [64.49185157446297]
我々は,ハイレベル命令と低レベル制御信号を中間言語駆動の命令に接続することを提案する。
我々は、AD-Hという階層型マルチエージェント駆動システムを用いて、このアイデアを実装した。
論文 参考訳(メタデータ) (2024-06-05T17:25:46Z) - DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral
Planning States for Autonomous Driving [69.82743399946371]
DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。
モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。
このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
論文 参考訳(メタデータ) (2023-12-14T18:59:05Z) - Applications of Large Scale Foundation Models for Autonomous Driving [22.651585322658686]
大規模言語モデル(LLM)とチャットシステム、例えばチャットGPTやPaLMは、自然言語処理(NLP)において人工知能(AGI)を実現するための有望な方向性として急速に現れつつある。
本稿では、シミュレーション、世界モデル、データアノテーションと計画、E2Eソリューションなどに分類される、自動運転に応用された基礎モデルとLLMの技術について検討する。
論文 参考訳(メタデータ) (2023-11-20T19:45:27Z) - LLM4Drive: A Survey of Large Language Models for Autonomous Driving [62.10344445241105]
大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。
本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
論文 参考訳(メタデータ) (2023-11-02T07:23:33Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳(メタデータ) (2023-09-21T15:00:31Z) - Integrated Decision and Control for High-Level Automated Vehicles by
Mixed Policy Gradient and Its Experiment Verification [10.393343763237452]
本稿では,IDC(Integrated Decision and Control)に基づく自己進化型意思決定システムを提案する。
制約付き混合ポリシー勾配 (CMPG) と呼ばれるRLアルゴリズムは、IDCの駆動ポリシーを継続的に更新するために提案される。
実験結果から, モデルに基づく手法よりも運転能力の向上が期待できることがわかった。
論文 参考訳(メタデータ) (2022-10-19T14:58:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。