論文の概要: Reinforced Imitative Trajectory Planning for Urban Automated Driving

• arxiv url: http://arxiv.org/abs/2410.15607v2
• Date: Wed, 16 Jul 2025 12:38:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 14:40:09.148083
• Title: Reinforced Imitative Trajectory Planning for Urban Automated Driving
• Title（参考訳）: 都市自動走行のための強化Immitative Trajectory Planning
• Authors: Di Zeng, Ling Zheng, Xiantong Yang, Yinong Li,
• Abstract要約: 本稿では,RLと模倣学習を統合して多段階計画を可能にする,RLに基づく新しい軌道計画手法を提案する。 都市シナリオにおけるRLに対する効果的な報酬信号を提供する変圧器に基づくベイズ報酬関数を開発した。 提案手法は,大規模な都市自動運転 nuPlan データセット上で検証された。
• 参考スコア（独自算出の注目度）: 3.2436298824947434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) faces challenges in trajectory planning for urban automated driving due to the poor convergence of RL and the difficulty in designing reward functions. Consequently, few RL-based trajectory planning methods can achieve performance comparable to that of imitation learning-based methods. The convergence problem is alleviated by combining RL with supervised learning. However, most existing approaches only reason one step ahead and lack the capability to plan for multiple future steps. Besides, although inverse reinforcement learning holds promise for solving the reward function design issue, existing methods for automated driving impose a linear structure assumption on reward functions, making them difficult to apply to urban automated driving. In light of these challenges, this paper proposes a novel RL-based trajectory planning method that integrates RL with imitation learning to enable multi-step planning. Furthermore, a transformer-based Bayesian reward function is developed, providing effective reward signals for RL in urban scenarios. Moreover, a hybrid-driven trajectory planning framework is proposed to enhance safety and interpretability. The proposed methods were validated on the large-scale real-world urban automated driving nuPlan dataset. Evaluated using closed-loop metrics, the results demonstrated that the proposed method significantly outperformed the baseline employing the identical policy model structure and achieved competitive performance compared to the state-of-the-art method. The code is available at https://github.com/Zigned/nuplan_zigned.
• Abstract（参考訳）: 強化学習(RL)は、RLの収束不良と報酬関数の設計の難しさにより、都市自動走行の軌道計画の課題に直面している。 その結果、RLに基づく軌道計画手法はほとんどなく、模倣学習法に匹敵する性能を達成できる。 収束問題は、RLと教師付き学習を組み合わせることで緩和される。 しかしながら、既存のアプローチのほとんどは、一歩先を行くだけで、複数の将来のステップを計画する能力が欠如しています。 また、逆強化学習は報奨関数設計問題の解決を約束するが、既存の自動運転法では報奨関数に線形構造仮定を課すため、都市部における自動運転には適用が困難である。 これらの課題を踏まえて,RLと模倣学習を統合して多段階計画を可能にする,新しいRLに基づく軌道計画手法を提案する。 さらに, 変圧器を用いたベイズ報奨関数を開発し, 都市環境におけるRLに対する効果的な報奨信号を提供する。 さらに、安全性と解釈可能性を高めるために、ハイブリッド駆動軌道計画フレームワークを提案する。 提案手法は,大規模な都市自動運転 nuPlan データセット上で検証された。 クローズドループの計測値を用いて評価した結果,提案手法は同一のポリシーモデル構造を用いてベースラインを著しく上回り,最先端の手法と比較して競争性能が向上した。 コードはhttps://github.com/Zigned/nuplan_zignedで公開されている。

関連論文リスト

• Preference Optimization for Combinatorial Optimization Problems [54.87466279363487]
  強化学習(Reinforcement Learning, RL)は、ニューラルネットワーク最適化のための強力なツールとして登場した。 大幅な進歩にもかかわらず、既存のRLアプローチは報酬信号の減少や大規模な行動空間における非効率な探索といった課題に直面している。 統計的比較モデルを用いて定量的報酬信号を定性的選好信号に変換する新しい手法であるPreference Optimizationを提案する。
  論文  参考訳（メタデータ） (2025-05-13T16:47:00Z)
• CarPlanner: Consistent Auto-regressive Trajectory Planning for Large-scale Reinforcement Learning in Autonomous Driving [23.7034061448326]
  軌道計画は自動運転に不可欠であり、複雑な環境で安全かつ効率的な航法を確保する。 本稿では、強化学習を用いてマルチモーダル軌道を生成するtextbfConsistent textbfauto-textbfregressive textbfPlannerについて紹介する。
  論文  参考訳（メタデータ） (2025-02-27T09:26:22Z)
• TeLL-Drive: Enhancing Autonomous Driving with Teacher LLM-Guided Deep Reinforcement Learning [61.33599727106222]
  TeLL-Driveは、Teacher LLMを統合して、注意に基づく学生DRLポリシーをガイドするハイブリッドフレームワークである。 自己維持機構はDRLエージェントの探索とこれらの戦略を融合させ、政策収束を加速し、堅牢性を高める。
  論文  参考訳（メタデータ） (2025-02-03T14:22:03Z)
• SCoTT: Wireless-Aware Path Planning with Vision Language Models and Strategic Chains-of-Thought [78.53885607559958]
  複雑な無線環境における経路計画を実現するために,視覚言語モデル(VLM)を用いた新しい手法を提案する。 この目的のために、実世界の無線レイトレーシングデータを用いたデジタルツインからの洞察を探索する。 その結果, SCoTT はDP-WA* と比較して非常に近い平均経路ゲインを実現し, 同時に一貫した経路長が得られることがわかった。
  論文  参考訳（メタデータ） (2024-11-27T10:45:49Z)
• Navigation with QPHIL: Quantizing Planner for Hierarchical Implicit Q-Learning [17.760679318994384]
  空間の学習量化器を利用する階層型トランスフォーマーに基づく新しい手法を提案する。 この量子化により、より単純なゾーン条件の低レベルポリシーのトレーニングが可能になり、計画が簡単になる。 提案手法は,複雑な長距離ナビゲーション環境における最先端の成果を実現する。
  論文  参考訳（メタデータ） (2024-11-12T12:49:41Z)
• Enhancing Spectrum Efficiency in 6G Satellite Networks: A GAIL-Powered Policy Learning via Asynchronous Federated Inverse Reinforcement Learning [67.95280175998792]
  ビームフォーミング,スペクトルアロケーション,リモートユーザ機器(RUE)アソシエイトを最適化するために,GAILを利用した新しいポリシー学習手法を提案する。 手動チューニングなしで報酬関数を自動的に学習するために、逆RL(IRL)を用いる。 提案手法は従来のRL手法よりも優れており,コンバージェンスと報酬値の14.6%の改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-27T13:05:02Z)
• ReGentS: Real-World Safety-Critical Driving Scenario Generation Made Stable [88.08120417169971]
  機械学習に基づく自律運転システムは、現実世界のデータでは稀な安全クリティカルなシナリオで課題に直面していることが多い。 この研究は、軌道最適化によって複雑な現実世界の通常のシナリオを変更することによって、安全クリティカルな運転シナリオを生成することを検討する。 提案手法は、頑健なプランナーの訓練には役に立たない非現実的な発散軌道と避けられない衝突シナリオに対処する。
  論文  参考訳（メタデータ） (2024-09-12T08:26:33Z)
• Let Hybrid A* Path Planner Obey Traffic Rules: A Deep Reinforcement Learning-Based Planning Framework [0.0]
  本研究では、ハイブリッドA*経路計画のような低レベルアルゴリズムと深層強化学習(DRL)を組み合わせることで、高レベルな意思決定を行う。 ハイブリッドA*プランナーは、モデル予測コントローラ(MPC)によって実行される衝突のない軌道を生成することができる さらに、DRLアルゴリズムは、選択した時間内にレーン変更コマンドを一貫性を保つことができる。
  論文  参考訳（メタデータ） (2024-07-01T12:00:10Z)
• LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning [65.86754998249224]
  従来のルールベースプランナとLCMベースのプランナを併用した,新しいハイブリッドプランナを開発した。 当社のアプローチでは,既存のプランナが苦労する複雑なシナリオをナビゲートし,合理的なアウトプットを生成すると同時に,ルールベースのアプローチと連携して作業する。
  論文  参考訳（メタデータ） (2023-12-30T02:53:45Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Action and Trajectory Planning for Urban Autonomous Driving with Hierarchical Reinforcement Learning [1.3397650653650457]
  本稿では,階層型強化学習法(atHRL)を用いた行動・軌道プランナを提案する。 我々は、複雑な都市運転シナリオにおける広範な実験を通して、atHRLの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2023-06-28T07:11:02Z)
• Automated Reinforcement Learning (AutoRL): A Survey and Open Problems [92.73407630874841]
  AutoRL(Automated Reinforcement Learning)には、AutoMLの標準的なアプリケーションだけでなく、RL特有の課題も含まれている。 我々は共通の分類法を提供し、各領域を詳細に議論し、今後の研究者にとって関心のあるオープンな問題を提起する。
  論文  参考訳（メタデータ） (2022-01-11T12:41:43Z)
• Generating Useful Accident-Prone Driving Scenarios via a Learned Traffic Prior [135.78858513845233]
  STRIVEは、特定のプランナーが衝突のような望ましくない振る舞いを発生させるような、困難なシナリオを自動的に生成する手法である。 シナリオの妥当性を維持するために、キーとなるアイデアは、グラフベースの条件付きVAEという形で、学習した交通運動モデルを活用することである。 その後の最適化は、シナリオの"解決"を見つけるために使用され、与えられたプランナーを改善するのに有効である。
  論文  参考訳（メタデータ） (2021-12-09T18:03:27Z)
• Trajectory Planning for Autonomous Vehicles Using Hierarchical Reinforcement Learning [21.500697097095408]
  不確実かつ動的条件下で安全な軌道を計画することは、自律運転問題を著しく複雑にする。 RRT(Rapidly Exploring Random Trees)のような現在のサンプリングベース手法は、高い計算コストのため、この問題には理想的ではない。 軌道計画のための階層型強化学習構造とPID(Proportional-Integral-Derivative)コントローラを提案する。
  論文  参考訳（メタデータ） (2020-11-09T20:49:54Z)
• Behavior Planning at Urban Intersections through Hierarchical Reinforcement Learning [25.50973559614565]
  本研究では,都市環境の階層構造を用いた自律走行計画を行うことができる強化学習(RL)に基づく行動計画構造を提案する。 我々のアルゴリズムは、車線封鎖やエゴ車前方の遅延による交差点に近づく際に、車線変更の可能な方向から左に曲がるタイミングや、車線変更の可能性など、規則に基づく決定方法よりも優れている。 また,提案手法は従来のRL法よりも高速に最適方針に収束することを示した。
  論文  参考訳（メタデータ） (2020-11-09T19:23:26Z)
• Bridging Imagination and Reality for Model-Based Deep Reinforcement Learning [72.18725551199842]
  BrIdging Reality and Dream (BIRD) と呼ばれる新しいモデルに基づく強化学習アルゴリズムを提案する。 虚構と実軌跡の相互情報を最大化し、虚構から学んだ政策改善を実軌跡に容易に一般化できるようにする。 提案手法は, モデルベース計画のサンプル効率を向上し, 挑戦的なビジュアル制御ベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-10-23T03:22:01Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)
• Integrating Deep Reinforcement Learning with Model-based Path Planners for Automated Driving [0.0]
  本稿では、経路計画管を視覚ベースのDRLフレームワークに統合するためのハイブリッドアプローチを提案する。 要約すると、DRLエージェントは、パスプランナーのウェイポイントをできるだけ近くに追従するように訓練される。 実験の結果,提案手法は経路を計画し,ランダムに選択した起点-終点間を移動可能であることがわかった。
  論文  参考訳（メタデータ） (2020-02-02T17:10:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。