論文の概要: Meta Reinforcement Learning-Based Lane Change Strategy for Autonomous
Vehicles
- arxiv url: http://arxiv.org/abs/2008.12451v1
- Date: Fri, 28 Aug 2020 02:57:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 02:31:13.086803
- Title: Meta Reinforcement Learning-Based Lane Change Strategy for Autonomous
Vehicles
- Title（参考訳）: メタ強化学習に基づく自動運転車の車線変更戦略
- Authors: Fei Ye, Pin Wang, Ching-Yao Chan and Jiucai Zhang
- Abstract要約: 教師付き学習アルゴリズムは、大量のラベル付きデータをトレーニングすることで、新しい環境に一般化することができる。
しばしば、新しい環境ごとに十分なデータを得るために、実用的または費用を抑えることができる。
エージェントの一般化能力を向上させるメタ強化学習(MRL)法を提案する。
- 参考スコア（独自算出の注目度）: 11.180588185127892
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in supervised learning and reinforcement learning have
provided new opportunities to apply related methodologies to automated driving.
However, there are still challenges to achieve automated driving maneuvers in
dynamically changing environments. Supervised learning algorithms such as
imitation learning can generalize to new environments by training on a large
amount of labeled data, however, it can be often impractical or
cost-prohibitive to obtain sufficient data for each new environment. Although
reinforcement learning methods can mitigate this data-dependency issue by
training the agent in a trial-and-error way, they still need to re-train
policies from scratch when adapting to new environments. In this paper, we thus
propose a meta reinforcement learning (MRL) method to improve the agent's
generalization capabilities to make automated lane-changing maneuvers at
different traffic environments, which are formulated as different traffic
congestion levels. Specifically, we train the model at light to moderate
traffic densities and test it at a new heavy traffic density condition. We use
both collision rate and success rate to quantify the safety and effectiveness
of the proposed model. A benchmark model is developed based on a pretraining
method, which uses the same network structure and training tasks as our
proposed model for fair comparison. The simulation results shows that the
proposed method achieves an overall success rate up to 20% higher than the
benchmark model when it is generalized to the new environment of heavy traffic
density. The collision rate is also reduced by up to 18% than the benchmark
model. Finally, the proposed model shows more stable and efficient
generalization capabilities adapting to the new environment, and it can achieve
100% successful rate and 0% collision rate with only a few steps of gradient
updates.
- Abstract（参考訳）: 教師付き学習と強化学習の最近の進歩は、関連する方法論を自動運転に適用する新たな機会となった。
しかし、動的に変化する環境での自動走行を実現するための課題は依然として残っている。
模倣学習のような教師付き学習アルゴリズムは、大量のラベル付きデータをトレーニングすることで、新しい環境に一般化することができるが、新しい環境ごとに十分なデータを得るには、しばしば非実用的または費用がかかる。
強化学習手法は、エージェントを試行錯誤の方法でトレーニングすることで、このデータ依存問題を緩和することができるが、新しい環境に適応する際には、ポリシーをスクラッチから再トレーニングする必要がある。
本稿では,異なる交通渋滞レベルとして定式化された異なる交通環境における自動車線変更操作を実現するため,エージェントの一般化能力を向上させるメタ強化学習(MRL)手法を提案する。
具体的には、交通密度を緩やかにするために光でモデルを訓練し、新しい重交通密度条件でテストする。
衝突速度と成功率の両方を用いて,提案モデルの安全性と有効性を定量化する。
ベンチマークモデルは,提案するモデルと同じネットワーク構造とトレーニングタスクを用いて公平な比較を行うプリトレーニング手法に基づいて開発された。
シミュレーションの結果,提案手法は,新しい交通密度の環境に一般化された場合,ベンチマークモデルよりも最大20%高い成功率が得られることがわかった。
また、衝突速度はベンチマークモデルより最大18%低減される。
最後に,提案モデルは,新しい環境に適応したより安定で効率的な一般化能力を示し,勾配更新のほんの数ステップで100%成功率と0%の衝突率を達成できることを示した。
関連論文リスト
- Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models [60.87795376541144]
World Model(ワールドモデル)は、エージェントの次の状態を予測できるニューラルネットワークである。
エンド・ツー・エンドのトレーニングでは、人間のデモで観察された状態と整合してエラーから回復する方法を学ぶ。
クローズドループ試験における先行技術に有意な改善がみられた定性的,定量的な結果を示す。
論文 参考訳（メタデータ） (2024-09-25T06:48:25Z) - Traffic expertise meets residual RL: Knowledge-informed model-based residual reinforcement learning for CAV trajectory control [1.5361702135159845]
本稿では,知識インフォームドモデルに基づく残留強化学習フレームワークを提案する。
交通専門家の知識を仮想環境モデルに統合し、基本力学にIntelligent Driver Model(IDM)、残留力学にニューラルネットワークを使用する。
本稿では,従来の制御手法を残差RLと組み合わせて,スクラッチから学習することなく,効率的な学習と政策最適化を容易にする新しい戦略を提案する。
論文 参考訳（メタデータ） (2024-08-30T16:16:57Z) - Continual Learning for Adaptable Car-Following in Dynamic Traffic Environments [16.587883982785]
自動運転技術の継続的な進化には、多様なダイナミックな交通環境に適応できる自動車追従モデルが必要である。
従来の学習ベースのモデルは、連続的な学習能力の欠如により、目に見えないトラフィックパターンに遭遇する際のパフォーマンス低下に悩まされることが多い。
本稿では,この制限に対処する連続学習に基づく新しい車追従モデルを提案する。
論文 参考訳（メタデータ） (2024-07-17T06:32:52Z) - MetaFollower: Adaptable Personalized Autonomous Car Following [63.90050686330677]
適応型パーソナライズされた自動車追従フレームワークであるMetaFollowerを提案する。
まず,モデルに依存しないメタラーニング(MAML)を用いて,様々なCFイベントから共通運転知識を抽出する。
さらに、Long Short-Term Memory (LSTM) と Intelligent Driver Model (IDM) を組み合わせて、時間的不均一性を高い解釈性で反映する。
論文 参考訳（メタデータ） (2024-06-23T15:30:40Z) - Data-Efficient Task Generalization via Probabilistic Model-based Meta
Reinforcement Learning [58.575939354953526]
PACOH-RLはメタ強化学習(Meta-RL)アルゴリズムである。
既存のMeta-RLメソッドは豊富なメタ学習データを必要とし、ロボット工学などの設定で適用性を制限する。
実験の結果,PACOH-RLはモデルベースRLおよびモデルベースMeta-RLベースラインよりも高い性能を示し,新しい動的条件に適応することがわかった。
論文 参考訳（メタデータ） (2023-11-13T18:51:57Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳（メタデータ） (2023-09-21T15:00:31Z) - ADLight: A Universal Approach of Traffic Signal Control with Augmented
Data Using Reinforcement Learning [3.3458830284045065]
本稿では,拡張データ(ADLight)を用いた新しい強化学習手法を提案する。
一般化性能を向上させるために,textitmovement shuffle という新しいデータ拡張手法を開発した。
その結果,本手法の性能は,単一環境で訓練されたモデルに近いことがわかった。
論文 参考訳（メタデータ） (2022-10-24T16:21:48Z) - Efficient Model-based Multi-agent Reinforcement Learning via Optimistic
Equilibrium Computation [93.52573037053449]
H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。
自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
論文 参考訳（メタデータ） (2022-03-14T17:24:03Z) - AdaPool: A Diurnal-Adaptive Fleet Management Framework using Model-Free
Deep Reinforcement Learning and Change Point Detection [34.77250498401055]
本稿では,車いすによる乗り合い環境における日中パターンを認識・適応できる適応型モデルフリー深部強化手法を提案する。
本論文では, 配車における適応論理に加えて, 動的かつ需要に応じた車両通行者マッチングと経路計画の枠組みを提案する。
論文 参考訳（メタデータ） (2021-04-01T02:14:01Z) - MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。
近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。
本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
論文 参考訳（メタデータ） (2021-01-04T03:06:08Z) - Bayesian Meta-reinforcement Learning for Traffic Signal Control [5.025654873456756]
本稿では,新しいシナリオにおける学習プロセスを強力に高速化する,価値に基づく新しいメタ強化学習フレームワークBM-DQNを提案する。
制限された2次元ナビゲーションと交通信号制御の実験により,提案手法は従来手法よりも高速かつ堅牢に新しいシナリオに適応することが示された。
論文 参考訳（メタデータ） (2020-10-01T01:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。