論文の概要: Epigraph Form Reinforcement Learning-based Safe Trajectory Tracking Control for Connected and Autonomous Vehicles
- arxiv url: http://arxiv.org/abs/2611.14903v1
- Date: Wed, 11 Nov 2026 01:49:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.97792
- Title: Epigraph Form Reinforcement Learning-based Safe Trajectory Tracking Control for Connected and Autonomous Vehicles
- Title(参考訳): 図形強化学習に基づく連結・自律走行車両の安全軌道追尾制御
- Abstract要約: 安全軌道追跡(STT)は、衝突を避けながら、自動運転車が基準軌道を正確に追従できるようにすることを目的としている。
既存の非学習ベースのSTT手法は、しばしばリアルタイム要求を満たすために単純化された車両と相互作用モデルを使用する。
我々はSTTC-EFRL(STTC-EFRL)と呼ばれるSTTのための新しい強化学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 25.6019244035926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Safe trajectory tracking (STT) aims to enable autonomous vehicles to follow a reference trajectory accurately while avoiding collisions. This problem is particularly challenging for Connected and Autonomous Vehicles (CAVs) in highly dynamic environments. Existing non-learning-based STT methods often use simplified vehicle and interaction models to meet real-time requirements, which may result in suboptimal tracking accuracy. Although Deep Reinforcement Learning (DRL) can help address this limitation, widely used Lagrangian DRL methods often suffer from unstable training because increasing Lagrange multipliers amplify policy-gradient magnitudes. To address these issues, we propose a novel reinforcement learning framework for STT, called STT Control Epigraph Form RL (STTC-EFRL). In this framework, the STT problem is formulated as an epigraph-form min-max optimization problem. Based on this formulation, we develop a learning mechanism that uses a decreasing scalar related to the epigraph to adjust the policy gradient descent direction without increasing the gradient magnitude, thereby improving training stability. We also develop a computationally efficient ray-casting method to compute a polyhedron scaling factor for safety quantification. Experimental results, including Vehicle-in-the-Loop tests, show that STTC-EFRL achieves higher tracking accuracy than the considered non-learning-based baseline and more stable training than widely used Lagrangian DRL methods, while satisfying safety requirements in connected environments.
- Abstract(参考訳): 安全軌道追跡(STT)は、衝突を避けながら、自動運転車が基準軌道を正確に追従できるようにすることを目的としている。
この問題は、高ダイナミックな環境でのコネクテッド・アンド・オートマチック・ビークル(CAV)にとって特に困難である。
既存の非学習ベースのSTT手法は、しばしば車両と相互作用の単純化されたモデルを用いてリアルタイムな要求を満たす。
深層強化学習(Dep Reinforcement Learning, DRL)は、この制限に対処するのに役立つが、広く使われているラグランジアンDRL法は、ラグランジュ乗算数の増加がポリシーの段階的な規模を増幅するため、不安定な訓練に悩まされることが多い。
これらの課題に対処するため,STTC-EFRL(STTC-EFRL)と呼ばれるSTTのための新しい強化学習フレームワークを提案する。
この枠組みでは、STT問題はエピグラフ形式 min-max 最適化問題として定式化される。
この定式化に基づいて、エピグラフに関連するスカラーの減少を利用して、勾配等級を増大させることなく方針勾配降下方向を調整し、訓練安定性を向上させる学習機構を開発する。
また、安全定量化のための多面体スケーリング係数を計算するための計算効率の良いレイキャスト法を開発した。
Vehicle-in-the-Loop testを含む実験結果から、STTC-EFRLは非学習ベースラインよりも高いトラッキング精度と、広く使用されているラグランジアンDRL法よりも安定したトレーニングを実現し、コネクテッド環境における安全性要件を満たしていることが示された。
関連論文リスト
- Physics-Informed Reinforcement Learning of Spatial Density Velocity Potentials for Map-Free Racing [73.88859384645264]
Out-Of-Distribution (OOD) の様々なレーストラックへの一般化は、機械学習(ML)を用いて、エンドツーエンド制御のためのセンサデータと車両アクチュエーターの間の数学的関係を符号化する。
本稿では,非幾何学的,物理インフォームド報酬を用いた深度測定のスペクトル分布から非線形車両動特性をパラメータ化して,ニューラルネットワーク(ANN)による車両の時間最適・乗換レース制御を推定するDRL法を提案する。
このポリシーは、経験的なパセジカタイヤモデルに似たタイヤのダイナミックスで摩擦円を最大化することで、OODトラックの12%で人間のデモより優れています。
論文 参考訳(メタデータ) (2026-04-10T17:12:07Z) - Large Language Model-Empowered Decision Transformer for UAV-Enabled Data Collection [71.84636717632206]
空間分散デバイスからの信頼性とエネルギー効率のよいデータ収集のための無人航空機(UAV)は、IoT(Internet of Things)アプリケーションをサポートする上で大きな可能性を秘めている。
有効なUAV制御ポリシーを学習するための共同言語モデル(LLM)を提案する。
LLM-CRDTは、現在の最先端DTアプローチよりも最大36.7%高いエネルギー効率を達成し、オンラインおよびオフラインメソッドのベンチマークより優れている。
論文 参考訳(メタデータ) (2025-09-17T13:05:08Z) - Partial End-to-end Reinforcement Learning for Robustness Against Modelling Error in Autonomous Racing [0.0]
本稿では、自動運転車における強化学習(RL)ソリューションの性能向上の問題に対処する。
計画タスクと制御タスクを分離する部分的なエンドツーエンドアルゴリズムを提案する。
従来の制御器のロバスト性を活用することにより,本アルゴリズムは標準のエンドツーエンドアルゴリズムよりもモデルミスマッチに対するロバスト性を向上する。
論文 参考訳(メタデータ) (2023-12-11T14:27:10Z) - DATT: Deep Adaptive Trajectory Tracking for Quadrotor Control [62.24301794794304]
Deep Adaptive Trajectory Tracking (DATT)は、学習に基づくアプローチであり、現実世界の大きな乱れの存在下で、任意の、潜在的に実現不可能な軌跡を正確に追跡することができる。
DATTは、非定常風場における可溶性および非実用性の両方の軌道に対して、競争適応性非線形およびモデル予測コントローラを著しく上回っている。
適応非線形モデル予測制御ベースラインの1/4未満である3.2ms未満の推論時間で、効率的にオンラインで実行することができる。
論文 参考訳(メタデータ) (2023-10-13T12:22:31Z) - Trajectory Planning for Autonomous Vehicles Using Hierarchical
Reinforcement Learning [21.500697097095408]
不確実かつ動的条件下で安全な軌道を計画することは、自律運転問題を著しく複雑にする。
RRT(Rapidly Exploring Random Trees)のような現在のサンプリングベース手法は、高い計算コストのため、この問題には理想的ではない。
軌道計画のための階層型強化学習構造とPID(Proportional-Integral-Derivative)コントローラを提案する。
論文 参考訳(メタデータ) (2020-11-09T20:49:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。