論文の概要: Risk-Aware Reward Shaping of Reinforcement Learning Agents for
Autonomous Driving
- arxiv url: http://arxiv.org/abs/2306.03220v1
- Date: Mon, 5 Jun 2023 20:10:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 18:29:37.595228
- Title: Risk-Aware Reward Shaping of Reinforcement Learning Agents for
Autonomous Driving
- Title(参考訳): 自律運転のための強化学習エージェントのリスク対応リワード形成
- Authors: Lin-Chi Wu, Zengjie Zhang, Sofie Haesaert, Zhiqiang Ma, and Zhiyong
Sun
- Abstract要約: 本稿では,自律運転におけるRLエージェントのトレーニングとテスト性能を活用するために,リスク認識型報酬形成手法について検討する。
我々は、危険運転行動の探索と罰則を奨励する追加のリフォーム報酬項を提案する。
- 参考スコア(独自算出の注目度): 5.652512744831571
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reinforcement learning (RL) is an effective approach to motion planning in
autonomous driving, where an optimal driving policy can be automatically
learned using the interaction data with the environment. Nevertheless, the
reward function for an RL agent, which is significant to its performance, is
challenging to be determined. The conventional work mainly focuses on rewarding
safe driving states but does not incorporate the awareness of risky driving
behaviors of the vehicles. In this paper, we investigate how to use risk-aware
reward shaping to leverage the training and test performance of RL agents in
autonomous driving. Based on the essential requirements that prescribe the
safety specifications for general autonomous driving in practice, we propose
additional reshaped reward terms that encourage exploration and penalize risky
driving behaviors. A simulation study in OpenAI Gym indicates the advantage of
risk-aware reward shaping for various RL agents. Also, we point out that
proximal policy optimization (PPO) is likely to be the best RL method that
works with risk-aware reward shaping.
- Abstract(参考訳): 強化学習(rl)は、環境との相互作用データを用いて最適な運転方針を自動的に学習できる自律走行における運動計画への効果的なアプローチである。
それにもかかわらず、その性能に重要なRLエージェントの報酬関数を決定することは困難である。
従来の研究は主に安全な運転状態の報奨に焦点を当てているが、車両の危険運転行動に対する認識を取り入れていない。
本稿では,自律運転におけるRLエージェントのトレーニングとテスト性能を活用するために,リスク認識型報酬形成手法について検討する。
本研究は,一般自動運転の安全性を規定する必須要件に基づいて,リスクのある運転行動の探索と罰を与える追加的な報酬条件を提案する。
OpenAI Gymのシミュレーション研究は、様々なRLエージェントに対するリスク認識報酬形成の利点を示している。
また,ppo (proximal policy optimization) はリスクを意識した報酬形成を行う最善の rl 手法である可能性が示唆された。
関連論文リスト
- RACER: Epistemic Risk-Sensitive RL Enables Fast Driving with Fewer Crashes [57.319845580050924]
本稿では,リスク感応制御と適応行動空間のカリキュラムを組み合わせた強化学習フレームワークを提案する。
提案アルゴリズムは,現実世界のオフロード運転タスクに対して,高速なポリシーを学習可能であることを示す。
論文 参考訳(メタデータ) (2024-05-07T23:32:36Z) - DRNet: A Decision-Making Method for Autonomous Lane Changingwith Deep
Reinforcement Learning [7.2282857478457805]
DRNetは、DRLエージェントがシミュレートされた高速道路上で合理的な車線変更を行うことで、運転を学べる新しいDRLベースのフレームワークである。
我々のDRLエージェントは、衝突を起こさずに所望のタスクを学習でき、DDQNや他のベースラインモデルより優れています。
論文 参考訳(メタデータ) (2023-11-02T21:17:52Z) - Robust Driving Policy Learning with Guided Meta Reinforcement Learning [49.860391298275616]
本稿では,ソーシャルカーの多種多様な運転方針を一つのメタ政治として訓練する効率的な方法を提案する。
ソーシャルカーのインタラクションに基づく報酬関数をランダム化することにより、多様な目的を生み出し、メタ政治を効率的に訓練することができる。
本研究では,社会自動車が学習メタ政治によって制御される環境を利用して,エゴ自動車の運転方針の堅牢性を高めるためのトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2023-07-19T17:42:36Z) - FastRLAP: A System for Learning High-Speed Driving via Deep RL and
Autonomous Practicing [71.76084256567599]
本稿では、自律型小型RCカーを強化学習(RL)を用いた視覚的観察から積極的に駆動するシステムを提案する。
我々のシステムであるFastRLAP (faster lap)は、人間の介入なしに、シミュレーションや専門家によるデモンストレーションを必要とせず、現実世界で自律的に訓練する。
結果として得られたポリシーは、タイミングブレーキや回転の加速度などの突発的な運転スキルを示し、ロボットの動きを妨げる領域を避け、トレーニングの途中で同様の1対1のインタフェースを使用して人間のドライバーのパフォーマンスにアプローチする。
論文 参考訳(メタデータ) (2023-04-19T17:33:47Z) - Safe Reinforcement Learning for an Energy-Efficient Driver Assistance
System [1.8899300124593645]
強化学習(Reinforcement Learning, RL)に基づく運転支援システムは, 電力系統制御動作の継続的な改善を通じて, 燃費の向上を図る。
本稿では,RLに基づく運転支援システムによって提案される安全でない動作をフィルタするために,指数制御障壁関数(ECBF)を導出して利用する。
提案手法は, 走行中の衝突を効果的に回避できることを示すため, 車両内での安全RLスキームの訓練と評価を行う。
論文 参考訳(メタデータ) (2023-01-03T00:25:00Z) - Safety Correction from Baseline: Towards the Risk-aware Policy in
Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。
このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。
提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文 参考訳(メタデータ) (2022-12-14T03:11:25Z) - Learning to Drive Using Sparse Imitation Reinforcement Learning [0.5076419064097732]
本稿では,知識を育成するスパース専門家と強化学習(RL)政策を組み合わせたハイブリッドエンドツーエンド制御政策を提案する。
CARLAシミュレータ内の複雑な都市シナリオにおけるSIRL手法の有効性を実験的に検証した。
論文 参考訳(メタデータ) (2022-05-24T15:03:11Z) - How to Learn from Risk: Explicit Risk-Utility Reinforcement Learning for
Efficient and Safe Driving Strategies [1.496194593196997]
本稿では,自動運転車の挙動を安全かつ効率的に解釈できるSafeDQNを提案する。
SafeDQNは様々なシナリオの解釈可能かつ安全な運転ポリシーを発見し、最先端の衛生技術がリスクと実用性の両方を評価するのにどのように役立つかを示す。
論文 参考訳(メタデータ) (2022-03-16T05:51:22Z) - Self-Awareness Safety of Deep Reinforcement Learning in Road Traffic
Junction Driving [20.85562165500152]
道路交通ジャンクションのシナリオでは、車両は通常、輸送環境から部分的な観察を受ける。
本研究では,3つのベースラインDRLモデル(DQN,A2C,PPO)の安全性評価を行った。
提案した自己認識注意-DQNは,交差点およびラウンドアバウンドシナリオにおける安全性を著しく向上させることができる。
論文 参考訳(メタデータ) (2022-01-20T11:21:33Z) - Cautious Adaptation For Reinforcement Learning in Safety-Critical
Settings [129.80279257258098]
都市運転のような現実の安全クリティカルな目標設定における強化学習(RL)は危険である。
非安全クリティカルな「ソース」環境でエージェントが最初に訓練する「安全クリティカル適応」タスクセットを提案する。
多様な環境における事前経験がリスクを見積もるためにエージェントに装備するという直感に基づくソリューションアプローチであるCARLを提案する。
論文 参考訳(メタデータ) (2020-08-15T01:40:59Z) - Safe Reinforcement Learning via Curriculum Induction [94.67835258431202]
安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。
既存の安全な強化学習手法は、エージェントが危険な状況を避けるために、事前にエージェントを頼りにしている。
本稿では,エージェントが自動インストラクターの指導の下で学習する,人間の指導にインスパイアされた代替手法を提案する。
論文 参考訳(メタデータ) (2020-06-22T10:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。