論文の概要: Safety-aware Causal Representation for Trustworthy Offline Reinforcement
Learning in Autonomous Driving
- arxiv url: http://arxiv.org/abs/2311.10747v3
- Date: Tue, 12 Mar 2024 21:01:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 17:58:22.322875
- Title: Safety-aware Causal Representation for Trustworthy Offline Reinforcement
Learning in Autonomous Driving
- Title（参考訳）: 信頼性の高いオフライン補強のための安全対応型因果表現
自律運転における学習
- Authors: Haohong Lin, Wenhao Ding, Zuxin Liu, Yaru Niu, Jiacheng Zhu, Yuming
Niu, Ding Zhao
- Abstract要約: オフライン強化学習(RL)アプローチは、オフラインデータセットからのシーケンシャルな意思決定問題に対処する上で、顕著な効果を示す。
一般化可能なエンドツーエンド駆動ポリシの学習を容易にするために,saFety-aware strUctured Scenario representation (Fusion)を導入した。
様々な運転シナリオにおける実証的な証拠は、フュージョンが自律運転エージェントの安全性と一般化性を著しく向上させることを証明している。
- 参考スコア（独自算出の注目度）: 33.672722472758636
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the domain of autonomous driving, the offline Reinforcement Learning~(RL)
approaches exhibit notable efficacy in addressing sequential decision-making
problems from offline datasets. However, maintaining safety in diverse
safety-critical scenarios remains a significant challenge due to long-tailed
and unforeseen scenarios absent from offline datasets. In this paper, we
introduce the saFety-aware strUctured Scenario representatION (FUSION), a
pioneering representation learning method in offline RL to facilitate the
learning of a generalizable end-to-end driving policy by leveraging structured
scenario information. FUSION capitalizes on the causal relationships between
the decomposed reward, cost, state, and action space, constructing a framework
for structured sequential reasoning in dynamic traffic environments. We conduct
extensive evaluations in two typical real-world settings of the distribution
shift in autonomous vehicles, demonstrating the good balance between safety
cost and utility reward compared to the current state-of-the-art safe RL and IL
baselines. Empirical evidence in various driving scenarios attests that FUSION
significantly enhances the safety and generalizability of autonomous driving
agents, even in the face of challenging and unseen environments. Furthermore,
our ablation studies reveal noticeable improvements in the integration of
causal representation into the offline safe RL algorithm. Our code
implementation is available at: https://sites.google.com/view/safe-fusion/.
- Abstract（参考訳）: 自律運転の分野では、オフライン強化学習〜(RL)アプローチは、オフラインデータセットからのシーケンシャルな意思決定問題に対処する上で、顕著な効果を示す。
しかしながら、さまざまな安全クリティカルなシナリオにおける安全性の維持は、オフラインデータセットが欠如している長期的かつ予期せぬシナリオのため、依然として重大な課題である。
本稿では、構造化シナリオ情報を利用して、一般化可能なエンドツーエンド駆動ポリシーの学習を容易にするために、オフラインRLにおける先駆的な表現学習手法であるsaFety-aware structured Scenario representation (FUSION)を紹介する。
FUSIONは、分解された報酬、コスト、状態、およびアクション空間の間の因果関係に乗じて、動的交通環境における構造化シーケンシャル推論のためのフレームワークを構築する。
自律走行車における配電シフトの典型的な2つの現実的状況において、我々は、現在最先端の安全RLとILベースラインと比較して、安全コストとユーティリティ報酬のバランスが良いことを実証し、広範囲に評価する。
様々な運転シナリオにおける実証的な証拠は、FUSIONが自律運転エージェントの安全性と一般化性を著しく向上させることを証明している。
さらに,我々のアブレーション研究は,因果表現をオフライン安全なRLアルゴリズムに統合する際の顕著な改善を明らかにした。
私たちのコード実装は以下の通りである。
関連論文リスト
- ReGentS: Real-World Safety-Critical Driving Scenario Generation Made Stable [88.08120417169971]
機械学習に基づく自律運転システムは、現実世界のデータでは稀な安全クリティカルなシナリオで課題に直面していることが多い。
この研究は、軌道最適化によって複雑な現実世界の通常のシナリオを変更することによって、安全クリティカルな運転シナリオを生成することを検討する。
提案手法は、頑健なプランナーの訓練には役に立たない非現実的な発散軌道と避けられない衝突シナリオに対処する。
論文 参考訳（メタデータ） (2024-09-12T08:26:33Z) - Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。
安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。
本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
論文 参考訳（メタデータ） (2024-02-23T23:22:06Z) - SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。
提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。
複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳（メタデータ） (2023-12-31T04:14:43Z) - Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。
LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。
適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
論文 参考訳（メタデータ） (2023-11-28T03:13:09Z) - DRNet: A Decision-Making Method for Autonomous Lane Changingwith Deep
Reinforcement Learning [7.2282857478457805]
DRNetは、DRLエージェントがシミュレートされた高速道路上で合理的な車線変更を行うことで、運転を学べる新しいDRLベースのフレームワークである。
我々のDRLエージェントは、衝突を起こさずに所望のタスクを学習でき、DDQNや他のベースラインモデルより優れています。
論文 参考訳（メタデータ） (2023-11-02T21:17:52Z) - Guided Online Distillation: Promoting Safe Reinforcement Learning by
Offline Demonstration [75.51109230296568]
オフラインデータから専門家ポリシーを抽出してオンライン探索をガイドすることは、保存性の問題を軽減するための有望な解決策である、と我々は主張する。
オフラインからオンラインまでの安全なRLフレームワークであるGOLD(Guid Online Distillation)を提案する。
GOLDは、オフラインDTポリシーをオンラインセーフなRLトレーニングを通じて軽量なポリシーネットワークに蒸留し、オフラインDTポリシーとオンラインセーフなRLアルゴリズムの両方を上回っている。
論文 参考訳（メタデータ） (2023-09-18T00:22:59Z) - Towards Safe Autonomous Driving Policies using a Neuro-Symbolic Deep
Reinforcement Learning Approach [6.961253535504979]
本稿では, DRLSL (Dybolic Logics) と呼ばれる新しいニューロシンボリックモデルフリーDRLアプローチを提案する。
DRL(経験から学ぶ)とシンボリックな一階述語論理(知識駆動推論)の強みを組み合わせることで、実環境における自動運転のリアルタイムインタラクションにおける安全な学習を可能にする。
我々は,ハイDデータセットを用いた自律走行にDRLSLフレームワークを実装し,トレーニングとテストの両段階において,安全でない動作を回避できることを実証した。
論文 参考訳（メタデータ） (2023-07-03T19:43:21Z) - Differentiable Control Barrier Functions for Vision-based End-to-End
Autonomous Driving [100.57791628642624]
本稿では,視覚に基づくエンドツーエンド自動運転のための安全保証学習フレームワークを提案する。
我々は、勾配降下によりエンドツーエンドに訓練された微分制御バリア関数(dCBF)を備えた学習システムを設計する。
論文 参考訳（メタデータ） (2022-03-04T16:14:33Z) - Self-Awareness Safety of Deep Reinforcement Learning in Road Traffic
Junction Driving [20.85562165500152]
道路交通ジャンクションのシナリオでは、車両は通常、輸送環境から部分的な観察を受ける。
本研究では,3つのベースラインDRLモデル(DQN,A2C,PPO)の安全性評価を行った。
提案した自己認識注意-DQNは,交差点およびラウンドアバウンドシナリオにおける安全性を著しく向上させることができる。
論文 参考訳（メタデータ） (2022-01-20T11:21:33Z) - UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning
Leveraging Planning [1.1339580074756188]
オフライン強化学習(RL)は、オフラインデータから意思決定を学ぶためのフレームワークを提供する。
自動運転車(SDV)は、おそらく準最適データセットの振る舞いよりも優れるポリシーを学ぶ。
これはモデルベースのオフラインRLアプローチの使用を動機付け、プランニングを活用する。
論文 参考訳（メタデータ） (2021-11-22T10:37:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。