論文の概要: Continual Driving Policy Optimization with Closed-Loop Individualized Curricula
- arxiv url: http://arxiv.org/abs/2309.14209v4
- Date: Tue, 13 Aug 2024 14:27:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 23:24:38.595439
- Title: Continual Driving Policy Optimization with Closed-Loop Individualized Curricula
- Title(参考訳): 閉ループ個別化カリキュラムを用いた連続運転ポリシー最適化
- Authors: Haoyi Niu, Yizhou Xu, Xingjian Jiang, Jianming Hu,
- Abstract要約: 閉ループ個別化カリキュラム(CLIC)を特徴とする連続運転ポリシー最適化フレームワークを開発した。
CLICは衝突予測タスクとしてAV評価をフレーム化し、各イテレーションでこれらのシナリオでAV障害が起こる確率を見積もる。
CLICは他のカリキュラムベースのトレーニング戦略を超越し、リスクのあるシナリオの管理を大幅に改善したことを示す。
- 参考スコア(独自算出の注目度): 2.903150959383393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The safety of autonomous vehicles (AV) has been a long-standing top concern, stemming from the absence of rare and safety-critical scenarios in the long-tail naturalistic driving distribution. To tackle this challenge, a surge of research in scenario-based autonomous driving has emerged, with a focus on generating high-risk driving scenarios and applying them to conduct safety-critical testing of AV models. However, limited work has been explored on the reuse of these extensive scenarios to iteratively improve AV models. Moreover, it remains intractable and challenging to filter through gigantic scenario libraries collected from other AV models with distinct behaviors, attempting to extract transferable information for current AV improvement. Therefore, we develop a continual driving policy optimization framework featuring Closed-Loop Individualized Curricula (CLIC), which we factorize into a set of standardized sub-modules for flexible implementation choices: AV Evaluation, Scenario Selection, and AV Training. CLIC frames AV Evaluation as a collision prediction task, where it estimates the chance of AV failures in these scenarios at each iteration. Subsequently, by re-sampling from historical scenarios based on these failure probabilities, CLIC tailors individualized curricula for downstream training, aligning them with the evaluated capability of AV. Accordingly, CLIC not only maximizes the utilization of the vast pre-collected scenario library for closed-loop driving policy optimization but also facilitates AV improvement by individualizing its training with more challenging cases out of those poorly organized scenarios. Experimental results clearly indicate that CLIC surpasses other curriculum-based training strategies, showing substantial improvement in managing risky scenarios, while still maintaining proficiency in handling simpler cases.
- Abstract(参考訳): 自動運転車(AV)の安全性は、長い尾の自然主義運転分布において稀で安全に重要なシナリオが欠如していることから、長年にわたって主要な関心事となっている。
この課題に対処するため、シナリオベースの自動運転の研究が急増し、リスクの高い運転シナリオを生成し、それらを適用してAVモデルの安全クリティカルなテストを実施することに重点を置いている。
しかしながら、これらの広範囲なシナリオの再利用について、反復的にAVモデルを改善するための限定的な研究がなされている。
さらに、異なる振る舞いを持つ他のAVモデルから収集された巨大なシナリオライブラリを抽出し、現在のAV改善のために転送可能な情報を抽出することは、難易度と難易度を保ち続けている。
そこで我々は,CLIC(Crowd-Loop individualized Curricula)を特徴とする連続運転ポリシー最適化フレームワークを開発し,AV評価,シナリオ選択,AVトレーニングなど,フレキシブルな実装選択のための標準化されたサブモジュールのセットに分解する。
CLICは衝突予測タスクとしてAV評価をフレーム化し、各イテレーションでこれらのシナリオでAV障害が起こる確率を見積もる。
その後、これらの障害確率に基づいて過去のシナリオを再サンプリングすることで、CLICは下流トレーニング用に個別化されたキュキュラを調整し、AVの評価能力と整合させる。
したがって、CLICは、クローズドループ駆動ポリシー最適化のための膨大な事前コンパイルされたシナリオライブラリの利用を最大化するだけでなく、トレーニングをこれらの貧弱な構成シナリオからより困難なケースで個別化することで、AV改善を促進する。
実験結果から,CLICは他のカリキュラムベースのトレーニング戦略を超越し,リスクのあるシナリオの管理が大幅に改善されつつも,単純なケースの処理能力は維持されていることが明らかとなった。
関連論文リスト
- FREA: Feasibility-Guided Generation of Safety-Critical Scenarios with Reasonable Adversariality [13.240598841087841]
本稿では,新しい安全クリティカルシナリオ生成手法であるFREAを紹介する。
敵シナリオの合理的性を確保するためのガイダンスとして、AVの最も大きな実現可能な領域(LFR)が組み込まれている。
実験により、FREAは安全クリティカルなシナリオを効果的に生成し、かなりの近距離事象をもたらすことが示されている。
論文 参考訳(メタデータ) (2024-06-05T06:26:15Z) - Enhancing Autonomous Vehicle Training with Language Model Integration and Critical Scenario Generation [32.02261963851354]
CRITICALは、自動運転車(AV)のトレーニングとテストのための新しいクローズドループフレームワークである。
このフレームワークは、現実世界のトラフィックダイナミクス、運転行動分析、安全性対策、オプションのLarge Language Model (LLM)コンポーネントを統合することで、これを実現する。
論文 参考訳(メタデータ) (2024-04-12T16:13:10Z) - A novel framework for adaptive stress testing of autonomous vehicles in
highways [3.2112502548606825]
高速道路交通のシナリオにおいて,安全上の懸念を生じさせるようなコーナーケースを探索する新しい枠組みを提案する。
衝突確率推定に基づいて衝突シナリオを識別する際のASTを導出するDRLの新しい報奨関数を開発した。
提案するフレームワークは,より現実的なトラフィックシナリオの作成を可能にする,新たな駆動モデルとさらに統合されている。
論文 参考訳(メタデータ) (2024-02-19T04:02:40Z) - SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Controllable Adversaries [94.84458417662407]
本稿では,新しい拡散制御型クローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。
我々は,認知過程における敵対的項を通して,安全クリティカルなシナリオをシミュレートする新しい手法を開発した。
我々はNuScenesデータセットを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳(メタデータ) (2023-12-31T04:14:43Z) - CAT: Closed-loop Adversarial Training for Safe End-to-End Driving [54.60865656161679]
Adversarial Training (CAT) は、自動運転車における安全なエンドツーエンド運転のためのフレームワークである。
Catは、安全クリティカルなシナリオでエージェントを訓練することで、運転エージェントの安全性を継続的に改善することを目的としている。
猫は、訓練中のエージェントに対抗する敵シナリオを効果的に生成できる。
論文 参考訳(メタデータ) (2023-10-19T02:49:31Z) - Stackelberg Driver Model for Continual Policy Improvement in
Scenario-Based Closed-Loop Autonomous Driving [5.765939495779461]
安全クリティカルなシナリオを合成するための効率的な手法のクラスとして、敵生成法が登場した。
Stackelberg Driver Model (SDM) を調整し、車両相互作用の階層的な性質を正確に特徴づける。
提案アルゴリズムは,特に高次元シナリオにおいて,いくつかのベースラインと比較して優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-25T15:47:07Z) - A Counterfactual Safety Margin Perspective on the Scoring of Autonomous
Vehicles' Riskiness [52.27309191283943]
本稿では,異なるAVの行動のリスクを評価するためのデータ駆動型フレームワークを提案する。
本稿では,衝突を引き起こす可能性のある名目行動から最小限の偏差を示す,対実的安全マージンの概念を提案する。
論文 参考訳(メタデータ) (2023-08-02T09:48:08Z) - Automatically Learning Fallback Strategies with Model-Free Reinforcement
Learning in Safety-Critical Driving Scenarios [9.761912672523977]
本稿では, モデルレス強化学習(RL)エージェントに対して, 環境内の複数の動作モードを捉えるための原則的アプローチを提案する。
我々は、報酬モデルに擬似報酬項を導入し、最適政策によって特権付けられた領域とは異なる国家空間の領域への探索を奨励する。
我々は、トレーニング中に見逃されたであろう有用なポリシーを学習でき、制御アルゴリズムの実行時に使用できないことを示す。
論文 参考訳(メタデータ) (2022-04-11T15:34:49Z) - Generating Useful Accident-Prone Driving Scenarios via a Learned Traffic
Prior [135.78858513845233]
STRIVEは、特定のプランナーが衝突のような望ましくない振る舞いを発生させるような、困難なシナリオを自動的に生成する手法である。
シナリオの妥当性を維持するために、キーとなるアイデアは、グラフベースの条件付きVAEという形で、学習した交通運動モデルを活用することである。
その後の最適化は、シナリオの"解決"を見つけるために使用され、与えられたプランナーを改善するのに有効である。
論文 参考訳(メタデータ) (2021-12-09T18:03:27Z) - LookOut: Diverse Multi-Future Prediction and Planning for Self-Driving [139.33800431159446]
LookOutは、環境を共同で知覚し、センサーデータから様々な未来を予測するアプローチである。
本モデルでは,大規模自動運転データセットにおいて,より多様性があり,サンプル効率のよい動き予測を行う。
論文 参考訳(メタデータ) (2021-01-16T23:19:22Z) - Can Autonomous Vehicles Identify, Recover From, and Adapt to
Distribution Shifts? [104.04999499189402]
トレーニング外の配布(OOD)シナリオは、デプロイ時にエージェントを学ぶ上で一般的な課題である。
インプロバスト模倣計画(RIP)と呼ばれる不確実性を考慮した計画手法を提案する。
提案手法は,OODシーンにおける過信および破滅的な外挿を低減し,分布変化を検知し,回復することができる。
分散シフトを伴うタスク群に対する駆動エージェントのロバスト性を評価するために,自動走行車ノベルシーンベンチマークであるtexttCARNOVEL を導入する。
論文 参考訳(メタデータ) (2020-06-26T11:07:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。