Fugu-MT 論文翻訳(概要): Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning

論文の概要: Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning

arxiv url: http://arxiv.org/abs/2407.19860v1
Date: Mon, 29 Jul 2024 10:30:07 GMT
ステータス: 処理完了
システム内更新日: 2024-07-30 14:16:11.278486
Title: Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning
Title（参考訳）: 強化学習における安全性向上のための異常状態系列モデリング
Authors: Leen Kweider, Maissa Abou Kassem, Ubai Sandouk,
Abstract要約: 本稿では,RLの安全性を高めるために,異常状態列を利用した安全強化学習(RL)手法を提案する。自動運転車を含む複数の安全クリティカルな環境の実験において、我々のソリューションアプローチはより安全なポリシーをうまく学習する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: The deployment of artificial intelligence (AI) in decision-making applications requires ensuring an appropriate level of safety and reliability, particularly in changing environments that contain a large number of unknown observations. To address this challenge, we propose a novel safe reinforcement learning (RL) approach that utilizes an anomalous state sequence to enhance RL safety. Our proposed solution Safe Reinforcement Learning with Anomalous State Sequences (AnoSeqs) consists of two stages. First, we train an agent in a non-safety-critical offline 'source' environment to collect safe state sequences. Next, we use these safe sequences to build an anomaly detection model that can detect potentially unsafe state sequences in a 'target' safety-critical environment where failures can have high costs. The estimated risk from the anomaly detection model is utilized to train a risk-averse RL policy in the target environment; this involves adjusting the reward function to penalize the agent for visiting anomalous states deemed unsafe by our anomaly model. In experiments on multiple safety-critical benchmarking environments including self-driving cars, our solution approach successfully learns safer policies and proves that sequential anomaly detection can provide an effective supervisory signal for training safety-aware RL agents
Abstract（参考訳）: 意思決定アプリケーションにおける人工知能(AI)の展開は、特に多くの未知の観測を含む環境の変化において、適切なレベルの安全性と信頼性を確保する必要がある。この課題に対処するために, 異常状態列を利用した安全強化学習(RL)手法を提案する。提案手法は,AnoSeqs (AnoSeqs) を用いたセーフ強化学習(Safe Reinforcement Learning) の2段階からなる。まず、安全でないオフラインの"ソース"環境でエージェントを訓練し、安全な状態シーケンスを収集する。次に、これらの安全なシーケンスを使用して、障害のコストが高い‘ターゲット’環境において、潜在的に安全でない状態シーケンスを検出可能な異常検出モデルを構築する。異常検出モデルから推定されるリスクを目標環境におけるリスク・アバースRLポリシーのトレーニングに利用し、異常検出モデルによって安全でないとみなされた異常状態のエージェントをペナルティ化するために報酬関数を調整する。自動運転車を含む複数の安全クリティカルなベンチマーク環境の実験において、我々のソリューションアプローチはより安全なポリシーを学習し、シーケンシャルな異常検出が安全を意識したRLエージェントを訓練するための効果的な監視信号を提供することを示す。

関連論文リスト

ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning [48.536695794883826]
本稿では,安全かつ効率的な探索のためのモデルベースRLアルゴリズムであるActSafeを提案する。本稿では,ActSafeが学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。さらに,最新のモデルベースRLの進歩に基づくActSafeの実用版を提案する。
論文参考訳（メタデータ） (2024-10-12T10:46:02Z)
Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
論文参考訳（メタデータ） (2023-12-18T16:09:43Z)
SMARLA: A Safety Monitoring Approach for Deep Reinforcement Learning Agents [7.33319373357049]
本稿では,Deep Reinforcement Learning (DRL)エージェント用に特別に設計されたブラックボックス安全監視手法SMARLAを紹介する。 SMARLAは機械学習を利用して、実行中のエージェントの動作を観察し、安全違反を予測する。実験の結果、SMARLAは偽陽性率の低い安全違反を予測するのに正確であり、違反が起こる前にエージェントの実行の途中で早期に違反を予測することができることが明らかになった。
論文参考訳（メタデータ） (2023-08-03T21:08:51Z)
Probabilistic Counterexample Guidance for Safer Reinforcement Learning (Extended Version) [1.279257604152629]
セーフサーベイは、安全クリティカルなシナリオにおける強化学習(RL)の限界に対処することを目的としている。外部知識を取り入れたり、センサデータを使って安全でない状態の探索を制限する方法はいくつか存在する。本稿では,安全要件の反例によるトレーニングを指導することで,安全な探査の課題をターゲットにする。
論文参考訳（メタデータ） (2023-07-10T22:28:33Z)
A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
論文参考訳（メタデータ） (2023-03-07T18:29:15Z)
Safe Deep Reinforcement Learning by Verifying Task-Level Properties [84.64203221849648]
コスト関数は、安全深層強化学習(DRL)において一般的に用いられる。このコストは通常、国家空間における政策決定のリスクの定量化が難しいため、指標関数として符号化される。本稿では,ドメイン知識を用いて,そのような状態に近接するリスクを定量化するための代替手法について検討する。
論文参考訳（メタデータ） (2023-02-20T15:24:06Z)
Safe Model-Based Reinforcement Learning with an Uncertainty-Aware Reachability Certificate [6.581362609037603]
我々は、DRCとそれに対応するシールドポリシーの制約を解決するために、安全な強化学習フレームワークを構築します。また,シールドポリシを活用しつつ,安全性と高いリターンを同時に達成するためのラインサーチ手法も考案した。
論文参考訳（メタデータ） (2022-10-14T06:16:53Z)
Lyapunov-based uncertainty-aware safe reinforcement learning [0.0]
InReinforcement Learning (RL)は、様々なシーケンシャルな意思決定タスクに対して最適なポリシーを学ぶ上で、有望なパフォーマンスを示している。多くの現実世界のRL問題において、主な目的を最適化する以外に、エージェントは一定のレベルの安全性を満たすことが期待されている。これらの制約に対処するために,リャプノフに基づく不確実性を考慮した安全なRLモデルを提案する。
論文参考訳（メタデータ） (2021-07-29T13:08:15Z)
Conservative Safety Critics for Exploration [120.73241848565449]
強化学習(RL)における安全な探索の課題について検討する。我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
論文参考訳（メタデータ） (2020-10-27T17:54:25Z)
Cautious Adaptation For Reinforcement Learning in Safety-Critical Settings [129.80279257258098]
都市運転のような現実の安全クリティカルな目標設定における強化学習(RL)は危険である。非安全クリティカルな「ソース」環境でエージェントが最初に訓練する「安全クリティカル適応」タスクセットを提案する。多様な環境における事前経験がリスクを見積もるためにエージェントに装備するという直感に基づくソリューションアプローチであるCARLを提案する。
論文参考訳（メタデータ） (2020-08-15T01:40:59Z)
Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach [2.741266294612776]
安全運転の最大確率を学習するモデルフリー安全仕様法を提案する。提案手法は, 各政策改善段階を抑制するための安全な政策に関して, リャプノフ関数を構築する。安全集合と呼ばれる安全な操作範囲を決定する一連の安全なポリシーを導出する。
論文参考訳（メタデータ） (2020-02-24T09:20:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。