論文の概要: Addressing Inherent Uncertainty: Risk-Sensitive Behavior Generation for
Automated Driving using Distributional Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2102.03119v1
- Date: Fri, 5 Feb 2021 11:45:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-08 14:42:06.532337
- Title: Addressing Inherent Uncertainty: Risk-Sensitive Behavior Generation for
Automated Driving using Distributional Reinforcement Learning
- Title（参考訳）: 不確実性に対処する:分布強化学習を用いた自動運転におけるリスク感知行動生成
- Authors: Julian Bernhard, Stefan Pollok and Alois Knoll
- Abstract要約: 自動運転車におけるリスク感応行動生成のための2段階のアプローチを提案する。
まず, 深層分布強化学習を用いて, 不確実な環境下で最適政策を学習する。
実行中は、確立されたリスク基準を適用して最適なリスク感受性行動を選択する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: For highly automated driving above SAE level~3, behavior generation
algorithms must reliably consider the inherent uncertainties of the traffic
environment, e.g. arising from the variety of human driving styles. Such
uncertainties can generate ambiguous decisions, requiring the algorithm to
appropriately balance low-probability hazardous events, e.g. collisions, and
high-probability beneficial events, e.g. quickly crossing the intersection.
State-of-the-art behavior generation algorithms lack a distributional treatment
of decision outcome. This impedes a proper risk evaluation in ambiguous
situations, often encouraging either unsafe or conservative behavior. Thus, we
propose a two-step approach for risk-sensitive behavior generation combining
offline distribution learning with online risk assessment. Specifically, we
first learn an optimal policy in an uncertain environment with Deep
Distributional Reinforcement Learning. During execution, the optimal
risk-sensitive action is selected by applying established risk criteria, such
as the Conditional Value at Risk, to the learned state-action return
distributions. In intersection crossing scenarios, we evaluate different risk
criteria and demonstrate that our approach increases safety, while maintaining
an active driving style. Our approach shall encourage further studies about the
benefits of risk-sensitive approaches for self-driving vehicles.
- Abstract（参考訳）: SAEレベル~3を超える高度に自動化された運転では、行動生成アルゴリズムは交通環境の固有の不確かさを確実に考慮する必要がある。
様々な人間の運転スタイルに由来する。
このような不確実性は曖昧な決定を生じさせ、例えばアルゴリズムは低確率の有害事象を適切にバランスさせる必要がある。
衝突、および高確率の有益事象、例えば
交差点を素早く横断する
最先端の行動生成アルゴリズムは、決定結果の分散処理を欠いている。
これは曖昧な状況において適切なリスク評価を妨げ、しばしば安全でない行動や保守的な行動を奨励する。
そこで本研究では,オフライン分散学習とオンラインリスクアセスメントを組み合わせたリスク感応型行動生成手法を提案する。
具体的には、まずDeep Distributional Reinforcement Learningで不確実な環境で最適なポリシーを学びます。
実行中、学習された状態復帰分布に、リスク条件値等の確立されたリスク基準を適用することにより、最適なリスク感応動作を選択する。
交差点横断のシナリオでは、異なるリスク基準を評価し、アクティブな運転スタイルを維持しながら、我々のアプローチが安全性を高めることを実証する。
私たちのアプローチは、自動運転車のリスクに敏感なアプローチの利点についてさらなる研究を奨励します。
関連論文リスト
- RACER: Epistemic Risk-Sensitive RL Enables Fast Driving with Fewer Crashes [57.319845580050924]
本稿では,リスク感応制御と適応行動空間のカリキュラムを組み合わせた強化学習フレームワークを提案する。
提案アルゴリズムは,現実世界のオフロード運転タスクに対して,高速なポリシーを学習可能であることを示す。
論文 参考訳（メタデータ） (2024-05-07T23:32:36Z) - Learning Risk-Aware Quadrupedal Locomotion using Distributional Reinforcement Learning [12.156082576280955]
危険環境への展開には、ロボットが事故を防ぐための行動や動きに関連するリスクを理解する必要がある。
本稿では,分散強化学習を用いたリスクセンシティブな移動訓練手法を提案する。
シミュレーションおよび四足歩行ロボットANYmalにおいて,突発的リスクに敏感な移動行動を示す。
論文 参考訳（メタデータ） (2023-09-25T16:05:32Z) - One Risk to Rule Them All: A Risk-Sensitive Perspective on Model-Based
Offline Reinforcement Learning [25.218430053391884]
両問題に共同で対処するためのメカニズムとしてリスク感受性を提案する。
相対的不確実性へのリスク回避は、環境に悪影響を及ぼす可能性のある行動を妨げる。
実験の結果,提案アルゴリズムは決定論的ベンチマーク上での競合性能を実現することがわかった。
論文 参考訳（メタデータ） (2022-11-30T21:24:11Z) - Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。
特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。
迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
論文 参考訳（メタデータ） (2022-05-10T19:40:52Z) - Adaptive Risk Tendency: Nano Drone Navigation in Cluttered Environments
with Distributional Reinforcement Learning [17.940958199767234]
適応型リスク傾向ポリシーを学習するための分散強化学習フレームワークを提案する。
本アルゴリズムは,シミュレーションと実世界の実験の両方において,ハエのリスク感度を調整可能であることを示す。
論文 参考訳（メタデータ） (2022-03-28T13:39:58Z) - Automatic Risk Adaptation in Distributional Reinforcement Learning [26.113528145137497]
実践的応用における強化学習(RL)エージェントの使用は、最適以下の結果を考慮する必要がある。
これは特に安全クリティカルな環境において重要であり、エラーは高いコストや損害をもたらす可能性がある。
リスク認識エージェントとリスク認識エージェントの両方と比較して, 失敗率を最大7倍に低下させ, 一般化性能を最大14%向上させた。
論文 参考訳（メタデータ） (2021-06-11T11:31:04Z) - Risk-Sensitive Sequential Action Control with Multi-Modal Human
Trajectory Forecasting for Safe Crowd-Robot Interaction [55.569050872780224]
本稿では,リスクに敏感な最適制御に基づく安全な群集ロボットインタラクションのためのオンラインフレームワークを提案し,そのリスクをエントロピーリスク尺度でモデル化する。
私たちのモジュラーアプローチは、クラウドとロボットの相互作用を学習ベースの予測とモデルベースの制御に分離します。
シミュレーション研究と実世界の実験により、このフレームワークは、現場にいる50人以上の人間との衝突を避けながら、安全で効率的なナビゲーションを実現することができることが示された。
論文 参考訳（メタデータ） (2020-09-12T02:02:52Z) - Cautious Adaptation For Reinforcement Learning in Safety-Critical
Settings [129.80279257258098]
都市運転のような現実の安全クリティカルな目標設定における強化学習(RL)は危険である。
非安全クリティカルな「ソース」環境でエージェントが最初に訓練する「安全クリティカル適応」タスクセットを提案する。
多様な環境における事前経験がリスクを見積もるためにエージェントに装備するという直感に基づくソリューションアプローチであるCARLを提案する。
論文 参考訳（メタデータ） (2020-08-15T01:40:59Z) - Can Autonomous Vehicles Identify, Recover From, and Adapt to
Distribution Shifts? [104.04999499189402]
トレーニング外の配布(OOD)シナリオは、デプロイ時にエージェントを学ぶ上で一般的な課題である。
インプロバスト模倣計画(RIP)と呼ばれる不確実性を考慮した計画手法を提案する。
提案手法は,OODシーンにおける過信および破滅的な外挿を低減し,分布変化を検知し,回復することができる。
分散シフトを伴うタスク群に対する駆動エージェントのロバスト性を評価するために,自動走行車ノベルシーンベンチマークであるtexttCARNOVEL を導入する。
論文 参考訳（メタデータ） (2020-06-26T11:07:32Z) - Learning Bounds for Risk-sensitive Learning [86.50262971918276]
リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。
最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
論文 参考訳（メタデータ） (2020-06-15T05:25:02Z) - Risk-Aware High-level Decisions for Automated Driving at Occluded
Intersections with Reinforcement Learning [16.69903761648675]
信号のない交差点を走行するための高レベル動作を学習するための一般的なリスク認識型DQNアプローチを提案する。
提案された状態表現は、マルチレーンシナリオで使用できるレーンベースの情報を提供する。
また,衝突事故だけでなく,危険事態を罰するリスクベース報酬関数を提案する。
論文 参考訳（メタデータ） (2020-04-09T09:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。