Fugu-MT 論文翻訳(概要): Safe Reinforcement Learning in Black-Box Environments via Adaptive Shielding

論文の概要: Safe Reinforcement Learning in Black-Box Environments via Adaptive Shielding

arxiv url: http://arxiv.org/abs/2405.18180v1
Date: Tue, 28 May 2024 13:47:21 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 18:29:23.866570
Title: Safe Reinforcement Learning in Black-Box Environments via Adaptive Shielding
Title（参考訳）: 適応シールドによるブラックボックス環境における安全強化学習
Authors: Daniel Bethell, Simos Gerasimou, Radu Calinescu, Calum Imrie,
Abstract要約: 未知のブラックボックス環境におけるRLエージェントのトレーニングは、ドメイン/タスクに関する事前の知識が利用できない場合にさらに安全性の高いリスクをもたらす。本稿では、トレーニング中の状態-動作ペアの安全性と安全性を区別する新しいポストシールド技術であるADVICE(Adaptive Shielding with a Contrastive Autoencoder)を紹介する。
参考スコア（独自算出の注目度）: 5.5929450570003185
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Empowering safe exploration of reinforcement learning (RL) agents during training is a critical impediment towards deploying RL agents in many real-world scenarios. Training RL agents in unknown, black-box environments poses an even greater safety risk when prior knowledge of the domain/task is unavailable. We introduce ADVICE (Adaptive Shielding with a Contrastive Autoencoder), a novel post-shielding technique that distinguishes safe and unsafe features of state-action pairs during training, thus protecting the RL agent from executing actions that yield potentially hazardous outcomes. Our comprehensive experimental evaluation against state-of-the-art safe RL exploration techniques demonstrates how ADVICE can significantly reduce safety violations during training while maintaining a competitive outcome reward.
Abstract（参考訳）: 訓練中の強化学習(RL)エージェントの安全な探索は、実世界の多くのシナリオでRLエージェントをデプロイするための重要な障害である。未知のブラックボックス環境におけるRLエージェントのトレーニングは、ドメイン/タスクに関する事前の知識が利用できない場合にさらに安全性の高いリスクをもたらす。本稿では,ADVICE(Adaptive Shielding with a Contrastive Autoencoder)について紹介する。これは,トレーニング中の状態-動作ペアの安全かつ安全でない特徴を識別し,潜在的に有害な結果をもたらすアクションの実行からRLエージェントを保護する。最先端の安全RL探査技術に対する総合的な実験的評価は、ADVICEが競技結果報酬を維持しながらトレーニング中の安全違反を著しく低減できることを示す。

関連論文リスト

ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning [48.536695794883826]
本稿では,安全かつ効率的な探索のためのモデルベースRLアルゴリズムであるActSafeを提案する。本稿では,ActSafeが学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。さらに,最新のモデルベースRLの進歩に基づくActSafeの実用版を提案する。
論文参考訳（メタデータ） (2024-10-12T10:46:02Z)
Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning [57.84059344739159]
シールドディング」は、強化学習(RL)の安全性を強制する一般的な手法である安全と遮蔽構造に対処する新しい許容性に基づく枠組みを提案する。
論文参考訳（メタデータ） (2024-05-29T18:00:21Z)
Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
論文参考訳（メタデータ） (2023-12-18T16:09:43Z)
Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文参考訳（メタデータ） (2022-12-14T03:11:25Z)
Provable Safe Reinforcement Learning with Binary Feedback [62.257383728544006]
状態, アクションペアの安全性に対するバイナリフィードバックを提供するオフラインオラクルへのアクセスを与えられた場合, 証明可能な安全なRLの問題を考える。我々は,その設定に対してブラックボックスPAC RLアルゴリズムに与えられた任意のMDP設定に適用可能な,新しいメタアルゴリズムSABREを提案する。
論文参考訳（メタデータ） (2022-10-26T05:37:51Z)
Safe Reinforcement Learning with Contrastive Risk Prediction [35.80144544954927]
本稿では,安全でない状態につながる状態-作用ペアの確率を予測するために,統計的コントラスト分類器を学習する安全RLのリスク防止訓練手法を提案する。予測されたリスク確率に基づいて、リスク防止トラジェクトリを収集し、報酬関数をリスクペナルティで再形成して、安全なRLポリシーを導き出すことができる。その結果,提案手法は最先端のモデルベース手法と同等の性能を示し,従来のモデルフリーなRL手法よりも優れていた。
論文参考訳（メタデータ） (2022-09-10T18:54:38Z)
On the Robustness of Safe Reinforcement Learning under Observational Perturbations [27.88525130218356]
標準RLタスクのベースライン対向攻撃技術は安全RLには必ずしも有効ではないことを示す。興味深い反直感的な発見の1つは、最大報酬攻撃は、安全でない振る舞いを誘発し、報酬を維持することで攻撃をステルスティにすることができるため、強いものであることである。この研究は、RLにおける観測ロバスト性と安全性の間の継承された接続に光を当て、将来の安全なRL研究のための先駆的な研究を提供する。
論文参考訳（メタデータ） (2022-05-29T15:25:03Z)
DESTA: A Framework for Safe Reinforcement Learning with Markov Games of Intervention [17.017957942831938]
強化学習(RL)における安全な学習に取り組むための現在のアプローチは、安全な探索とタスク遂行のトレードオフにつながる。我々は、DESTA(Distributive Exploration Safety Training Algorithm)と呼ばれる安全なRLのための新しい2プレイヤーフレームワークを導入する。我々のアプローチは、DESTA(Distributive Exploration Safety Training Algorithm)と呼ばれる安全なRLのための新しい2プレイヤーフレームワークを使用する。
論文参考訳（メタデータ） (2021-10-27T14:35:00Z)
Conservative Safety Critics for Exploration [120.73241848565449]
強化学習(RL)における安全な探索の課題について検討する。我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
論文参考訳（メタデータ） (2020-10-27T17:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。