論文の概要: Safety-aware Causal Representation for Trustworthy Offline Reinforcement
Learning in Autonomous Driving
- arxiv url: http://arxiv.org/abs/2311.10747v3
- Date: Tue, 12 Mar 2024 21:01:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 17:58:22.322875
- Title: Safety-aware Causal Representation for Trustworthy Offline Reinforcement
Learning in Autonomous Driving
- Title(参考訳): 信頼性の高いオフライン補強のための安全対応型因果表現
自律運転における学習
- Authors: Haohong Lin, Wenhao Ding, Zuxin Liu, Yaru Niu, Jiacheng Zhu, Yuming
Niu, Ding Zhao
- Abstract要約: オフライン強化学習(RL)アプローチは、オフラインデータセットからのシーケンシャルな意思決定問題に対処する上で、顕著な効果を示す。
一般化可能なエンドツーエンド駆動ポリシの学習を容易にするために,saFety-aware strUctured Scenario representation (Fusion)を導入した。
様々な運転シナリオにおける実証的な証拠は、フュージョンが自律運転エージェントの安全性と一般化性を著しく向上させることを証明している。
- 参考スコア(独自算出の注目度): 33.672722472758636
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the domain of autonomous driving, the offline Reinforcement Learning~(RL)
approaches exhibit notable efficacy in addressing sequential decision-making
problems from offline datasets. However, maintaining safety in diverse
safety-critical scenarios remains a significant challenge due to long-tailed
and unforeseen scenarios absent from offline datasets. In this paper, we
introduce the saFety-aware strUctured Scenario representatION (FUSION), a
pioneering representation learning method in offline RL to facilitate the
learning of a generalizable end-to-end driving policy by leveraging structured
scenario information. FUSION capitalizes on the causal relationships between
the decomposed reward, cost, state, and action space, constructing a framework
for structured sequential reasoning in dynamic traffic environments. We conduct
extensive evaluations in two typical real-world settings of the distribution
shift in autonomous vehicles, demonstrating the good balance between safety
cost and utility reward compared to the current state-of-the-art safe RL and IL
baselines. Empirical evidence in various driving scenarios attests that FUSION
significantly enhances the safety and generalizability of autonomous driving
agents, even in the face of challenging and unseen environments. Furthermore,
our ablation studies reveal noticeable improvements in the integration of
causal representation into the offline safe RL algorithm. Our code
implementation is available at: https://sites.google.com/view/safe-fusion/.
- Abstract(参考訳): 自律運転の分野では、オフライン強化学習〜(RL)アプローチは、オフラインデータセットからのシーケンシャルな意思決定問題に対処する上で、顕著な効果を示す。
しかしながら、さまざまな安全クリティカルなシナリオにおける安全性の維持は、オフラインデータセットが欠如している長期的かつ予期せぬシナリオのため、依然として重大な課題である。
本稿では、構造化シナリオ情報を利用して、一般化可能なエンドツーエンド駆動ポリシーの学習を容易にするために、オフラインRLにおける先駆的な表現学習手法であるsaFety-aware structured Scenario representation (FUSION)を紹介する。
FUSIONは、分解された報酬、コスト、状態、およびアクション空間の間の因果関係に乗じて、動的交通環境における構造化シーケンシャル推論のためのフレームワークを構築する。
自律走行車における配電シフトの典型的な2つの現実的状況において、我々は、現在最先端の安全RLとILベースラインと比較して、安全コストとユーティリティ報酬のバランスが良いことを実証し、広範囲に評価する。
様々な運転シナリオにおける実証的な証拠は、FUSIONが自律運転エージェントの安全性と一般化性を著しく向上させることを証明している。
さらに,我々のアブレーション研究は,因果表現をオフライン安全なRLアルゴリズムに統合する際の顕著な改善を明らかにした。
私たちのコード実装は以下の通りである。
関連論文リスト
- Controllable Safety-Critical Closed-loop Traffic Simulation via Guided
Diffusion [100.4988219600854]
誘導拡散モデルに根ざした新しいクローズドループシミュレーションフレームワークを提案する。
提案手法は, 現実の条件を密にエミュレートする現実的なロングテールシナリオの生成と, 制御性の向上という, 二つの異なる利点をもたらす。
我々はNuScenesデータセットを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳(メタデータ) (2023-12-31T04:14:43Z) - DRNet: A Decision-Making Method for Autonomous Lane Changingwith Deep
Reinforcement Learning [7.2282857478457805]
DRNetは、DRLエージェントがシミュレートされた高速道路上で合理的な車線変更を行うことで、運転を学べる新しいDRLベースのフレームワークである。
我々のDRLエージェントは、衝突を起こさずに所望のタスクを学習でき、DDQNや他のベースラインモデルより優れています。
論文 参考訳(メタデータ) (2023-11-02T21:17:52Z) - Guided Online Distillation: Promoting Safe Reinforcement Learning by
Offline Demonstration [75.51109230296568]
オフラインデータから専門家ポリシーを抽出してオンライン探索をガイドすることは、保存性の問題を軽減するための有望な解決策である、と我々は主張する。
オフラインからオンラインまでの安全なRLフレームワークであるGOLD(Guid Online Distillation)を提案する。
GOLDは、オフラインDTポリシーをオンラインセーフなRLトレーニングを通じて軽量なポリシーネットワークに蒸留し、オフラインDTポリシーとオンラインセーフなRLアルゴリズムの両方を上回っている。
論文 参考訳(メタデータ) (2023-09-18T00:22:59Z) - Towards Safe Autonomous Driving Policies using a Neuro-Symbolic Deep
Reinforcement Learning Approach [6.961253535504979]
本稿では, DRLSL (Dybolic Logics) と呼ばれる新しいニューロシンボリックモデルフリーDRLアプローチを提案する。
DRL(経験から学ぶ)とシンボリックな一階述語論理(知識駆動推論)の強みを組み合わせることで、実環境における自動運転のリアルタイムインタラクションにおける安全な学習を可能にする。
我々は,ハイDデータセットを用いた自律走行にDRLSLフレームワークを実装し,トレーニングとテストの両段階において,安全でない動作を回避できることを実証した。
論文 参考訳(メタデータ) (2023-07-03T19:43:21Z) - Online Safety Property Collection and Refinement for Safe Deep
Reinforcement Learning in Mapless Navigation [79.89605349842569]
オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。
CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。
本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
論文 参考訳(メタデータ) (2023-02-13T21:19:36Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳(メタデータ) (2022-12-12T06:30:17Z) - Differentiable Control Barrier Functions for Vision-based End-to-End
Autonomous Driving [100.57791628642624]
本稿では,視覚に基づくエンドツーエンド自動運転のための安全保証学習フレームワークを提案する。
我々は、勾配降下によりエンドツーエンドに訓練された微分制御バリア関数(dCBF)を備えた学習システムを設計する。
論文 参考訳(メタデータ) (2022-03-04T16:14:33Z) - Self-Awareness Safety of Deep Reinforcement Learning in Road Traffic
Junction Driving [20.85562165500152]
道路交通ジャンクションのシナリオでは、車両は通常、輸送環境から部分的な観察を受ける。
本研究では,3つのベースラインDRLモデル(DQN,A2C,PPO)の安全性評価を行った。
提案した自己認識注意-DQNは,交差点およびラウンドアバウンドシナリオにおける安全性を著しく向上させることができる。
論文 参考訳(メタデータ) (2022-01-20T11:21:33Z) - UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning
Leveraging Planning [1.1339580074756188]
オフライン強化学習(RL)は、オフラインデータから意思決定を学ぶためのフレームワークを提供する。
自動運転車(SDV)は、おそらく準最適データセットの振る舞いよりも優れるポリシーを学ぶ。
これはモデルベースのオフラインRLアプローチの使用を動機付け、プランニングを活用する。
論文 参考訳(メタデータ) (2021-11-22T10:37:52Z) - Cautious Adaptation For Reinforcement Learning in Safety-Critical
Settings [129.80279257258098]
都市運転のような現実の安全クリティカルな目標設定における強化学習(RL)は危険である。
非安全クリティカルな「ソース」環境でエージェントが最初に訓練する「安全クリティカル適応」タスクセットを提案する。
多様な環境における事前経験がリスクを見積もるためにエージェントに装備するという直感に基づくソリューションアプローチであるCARLを提案する。
論文 参考訳(メタデータ) (2020-08-15T01:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。