論文の概要: Reinforced Imitative Trajectory Planning for Urban Automated Driving
- arxiv url: http://arxiv.org/abs/2410.15607v1
- Date: Mon, 21 Oct 2024 03:04:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:17:12.823017
- Title: Reinforced Imitative Trajectory Planning for Urban Automated Driving
- Title（参考訳）: 都市自動走行のための強化Immitative Trajectory Planning
- Authors: Di Zeng, Ling Zheng, Xiantong Yang, Yinong Li,
- Abstract要約: 本稿では,RLと模倣学習を統合して多段階計画を可能にする,RLに基づく新しい軌道計画手法を提案する。
都市シナリオにおけるRLに対する効果的な報酬信号を提供する変圧器に基づくベイズ報酬関数を開発した。
提案手法は,大規模な都市自動運転 nuPlan データセット上で検証された。
- 参考スコア（独自算出の注目度）: 3.2436298824947434
- License:
- Abstract: Reinforcement learning (RL) faces challenges in trajectory planning for urban automated driving due to the poor convergence of RL and the difficulty in designing reward functions. The convergence problem is alleviated by combining RL with supervised learning. However, most existing approaches only reason one step ahead and lack the capability to plan for multiple future steps. Besides, although inverse reinforcement learning holds promise for solving the reward function design issue, existing methods for automated driving impose a linear structure assumption on reward functions, making them difficult to apply to urban automated driving. In light of these challenges, this paper proposes a novel RL-based trajectory planning method that integrates RL with imitation learning to enable multi-step planning. Furthermore, a transformer-based Bayesian reward function is developed, providing effective reward signals for RL in urban scenarios. Moreover, a hybrid-driven trajectory planning framework is proposed to enhance safety and interpretability. The proposed methods were validated on the large-scale real-world urban automated driving nuPlan dataset. The results demonstrated the significant superiority of the proposed methods over the baselines in terms of the closed-loop metrics. The code is available at https://github.com/Zigned/nuplan_zigned.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、RLの収束不良と報酬関数設計の難しさにより、都市自動走行のための軌道計画の課題に直面している。
収束問題は、RLと教師付き学習を組み合わせることで緩和される。
しかしながら、既存のアプローチのほとんどは、一歩先を行くだけで、複数の将来のステップを計画する能力が欠如しています。
また、逆強化学習は報奨関数設計問題の解決を約束するが、既存の自動運転法では報奨関数に線形構造仮定を課すため、都市部における自動運転には適用が困難である。
これらの課題を踏まえて,RLと模倣学習を統合して多段階計画を可能にする,新しいRLに基づく軌道計画手法を提案する。
さらに, 変圧器を用いたベイズ報奨関数を開発し, 都市環境におけるRLに対する効果的な報奨信号を提供する。
さらに、安全性と解釈可能性を高めるために、ハイブリッド駆動軌道計画フレームワークを提案する。
提案手法は,大規模な都市自動運転 nuPlan データセット上で検証された。
その結果, 閉ループ測定値の基準値に対して提案手法が有意な優位性を示した。
コードはhttps://github.com/Zigned/nuplan_zignedで公開されている。
関連論文リスト
- ReGentS: Real-World Safety-Critical Driving Scenario Generation Made Stable [88.08120417169971]
機械学習に基づく自律運転システムは、現実世界のデータでは稀な安全クリティカルなシナリオで課題に直面していることが多い。
この研究は、軌道最適化によって複雑な現実世界の通常のシナリオを変更することによって、安全クリティカルな運転シナリオを生成することを検討する。
提案手法は、頑健なプランナーの訓練には役に立たない非現実的な発散軌道と避けられない衝突シナリオに対処する。
論文 参考訳（メタデータ） (2024-09-12T08:26:33Z) - Let Hybrid A* Path Planner Obey Traffic Rules: A Deep Reinforcement Learning-Based Planning Framework [0.0]
本研究では、ハイブリッドA*経路計画のような低レベルアルゴリズムと深層強化学習(DRL)を組み合わせることで、高レベルな意思決定を行う。
ハイブリッドA*プランナーは、モデル予測コントローラ(MPC)によって実行される衝突のない軌道を生成することができる
さらに、DRLアルゴリズムは、選択した時間内にレーン変更コマンドを一貫性を保つことができる。
論文 参考訳（メタデータ） (2024-07-01T12:00:10Z) - LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning [65.86754998249224]
従来のルールベースプランナとLCMベースのプランナを併用した,新しいハイブリッドプランナを開発した。
当社のアプローチでは,既存のプランナが苦労する複雑なシナリオをナビゲートし,合理的なアウトプットを生成すると同時に,ルールベースのアプローチと連携して作業する。
論文 参考訳（メタデータ） (2023-12-30T02:53:45Z) - Action-Quantized Offline Reinforcement Learning for Robotic Skill
Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。
本稿では,アクション量子化のための適応型スキームを提案する。
IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-10-18T06:07:10Z) - Action and Trajectory Planning for Urban Autonomous Driving with
Hierarchical Reinforcement Learning [1.3397650653650457]
本稿では,階層型強化学習法(atHRL)を用いた行動・軌道プランナを提案する。
我々は、複雑な都市運転シナリオにおける広範な実験を通して、atHRLの有効性を実証的に検証した。
論文 参考訳（メタデータ） (2023-06-28T07:11:02Z) - Automated Reinforcement Learning (AutoRL): A Survey and Open Problems [92.73407630874841]
AutoRL(Automated Reinforcement Learning)には、AutoMLの標準的なアプリケーションだけでなく、RL特有の課題も含まれている。
我々は共通の分類法を提供し、各領域を詳細に議論し、今後の研究者にとって関心のあるオープンな問題を提起する。
論文 参考訳（メタデータ） (2022-01-11T12:41:43Z) - Generating Useful Accident-Prone Driving Scenarios via a Learned Traffic
Prior [135.78858513845233]
STRIVEは、特定のプランナーが衝突のような望ましくない振る舞いを発生させるような、困難なシナリオを自動的に生成する手法である。
シナリオの妥当性を維持するために、キーとなるアイデアは、グラフベースの条件付きVAEという形で、学習した交通運動モデルを活用することである。
その後の最適化は、シナリオの"解決"を見つけるために使用され、与えられたプランナーを改善するのに有効である。
論文 参考訳（メタデータ） (2021-12-09T18:03:27Z) - Hierarchies of Planning and Reinforcement Learning for Robot Navigation [22.08479169489373]
多くのナビゲーションタスクでは、粗いフロアプランのように、高レベル(HL)タスク表現が利用可能である。
これまでの研究は、HL表現における経路計画からなる階層的アプローチによる効率的な学習を実証してきた。
本研究はHL表現のためのトレーニング可能な計画ポリシーを利用する新しい階層的枠組みを提案する。
論文 参考訳（メタデータ） (2021-09-23T07:18:15Z) - Trajectory Planning for Autonomous Vehicles Using Hierarchical
Reinforcement Learning [21.500697097095408]
不確実かつ動的条件下で安全な軌道を計画することは、自律運転問題を著しく複雑にする。
RRT(Rapidly Exploring Random Trees)のような現在のサンプリングベース手法は、高い計算コストのため、この問題には理想的ではない。
軌道計画のための階層型強化学習構造とPID(Proportional-Integral-Derivative)コントローラを提案する。
論文 参考訳（メタデータ） (2020-11-09T20:49:54Z) - Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot
Locomotion [78.46388769788405]
我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。
誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
論文 参考訳（メタデータ） (2020-02-22T10:15:53Z) - Integrating Deep Reinforcement Learning with Model-based Path Planners
for Automated Driving [0.0]
本稿では、経路計画管を視覚ベースのDRLフレームワークに統合するためのハイブリッドアプローチを提案する。
要約すると、DRLエージェントは、パスプランナーのウェイポイントをできるだけ近くに追従するように訓練される。
実験の結果,提案手法は経路を計画し,ランダムに選択した起点-終点間を移動可能であることがわかった。
論文 参考訳（メタデータ） (2020-02-02T17:10:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。