論文の概要: Kernel-Based Safe Exploration in Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2605.22207v1
- Date: Thu, 21 May 2026 09:12:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 20:14:18.542875
- Title: Kernel-Based Safe Exploration in Deep Reinforcement Learning
- Title（参考訳）: 深層強化学習におけるカーネルによる安全な探索
- Authors: Rupak Majumdar, Nikhil Singh, Sadegh Soudjani,
- Abstract要約: 障壁は状態から実数への関数であり、初期状態に低い値を割り当て、安全でない状態に高い値を割り当て、各遷移に対する期待を減少させる。
以前の試みでは、探索データから直接バリア関数を学んだが、大量のデータやシステムダイナミクスの制限が必要だった。
未知の力学系に対する深い強化学習において,カーネル埋め込みを用いてバリア関数を学習する方法を示す。
- 参考スコア（独自算出の注目度）: 8.876276636425402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Safety has been a major concern when deploying deep reinforcement learning algorithms in the real world. A promising direction that ensures that the learned policy does not visit unsafe regions is to learn a \emph{barrier function} along with the policy. A barrier is a function from states to reals that assigns low values to the initial states, high values to the unsafe states, and decreases in expectation on each transition; such a function can be used to bound the probability of reaching unsafe states. Previous attempts learned a barrier function directly from exploration data, but this required either large amounts of data or restrictions on the system dynamics. In this paper, we show how kernel embeddings can be used to learn barrier functions during deep reinforcement learning for stochastic systems with unknown dynamics. Our algorithm, \emph{kernel-based safe exploration (KBSE)}, learns an optimal policy and a barrier simultaneously during exploration. The barriers are computed iteratively, represented as conditional mean embeddings, and provide better probabilistic safety guarantees with more exploration. The exploration algorithm uses the learned barrier functions to identify safety violations. In the case of violation, it intervenes to modify the unsafe action to a safe action, thereby ensuring that the exploration is restricted to actions that bound the probability of reaching unsafe states. We evaluate KBSE on several complex continuous control benchmarks. Experimental results establish our new algorithm to be suitable for synthesizing control policies that are probabilistically safe without degradation in reward accumulation.
- Abstract（参考訳）: 高度な強化学習アルゴリズムを現実世界に展開する上で、安全性が大きな関心事となっている。
学習されたポリシーが安全でない地域を訪れないことを保証する有望な方向は、ポリシーと共に 'emph{barrier function' を学ぶことである。
障壁(英: barrier)とは、状態から実数への関数で、初期状態に低い値を割り当て、安全でない状態に高い値を割り当て、各遷移への期待を減少させる。
以前の試みでは、探索データから直接バリア関数を学んだが、大量のデータやシステムダイナミクスの制限が必要だった。
本稿では,未知の力学を持つ確率系に対する深い強化学習において,カーネル埋め込みを用いて障壁関数を学習する方法を示す。
提案アルゴリズムは,探索中に最適方針と障壁を同時に学習する。
障壁は反復的に計算され、条件付き平均埋め込みとして表現され、より多くの探索でより確率論的安全性を保証する。
探索アルゴリズムは、学習したバリア関数を使用して安全違反を特定する。
違反の場合、安全でない状態に到達する確率を制限した行動に探索が制限されることを保証するために、安全でない動作を安全な行動に修正する必要がある。
いくつかの複雑な連続制御ベンチマーク上でKBSEを評価する。
実験により,報酬蓄積の劣化を伴わない確率論的に安全な制御ポリシの合成に適した新しいアルゴリズムが確立された。
関連論文リスト
- Safe-Support Q-Learning: Learning without Unsafe Exploration [5.892169642535822]
トレーニング中の安全でない状態訪問を解消するQラーニングに基づく安全なRLフレームワークを提案する。
誘導軌道が安全な集合内にあるという仮定の下で、このポリシーは、ほぼ最適性を必要とせず、安全な領域内で十分な探索を可能にする。
実験結果から,提案手法は安定な学習とよく校正された値推定を実現し,既存のベースラインと同等あるいは優れた性能で安全な振る舞いを得られることが示された。
論文 参考訳（メタデータ） (2026-04-28T08:43:39Z) - Safeguarded Progress in Reinforcement Learning: Safe Bayesian
Exploration for Control Policy Synthesis [63.532413807686524]
本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。
探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-12-18T16:09:43Z) - Safe Deep Reinforcement Learning by Verifying Task-Level Properties [84.64203221849648]
コスト関数は、安全深層強化学習(DRL)において一般的に用いられる。
このコストは通常、国家空間における政策決定のリスクの定量化が難しいため、指標関数として符号化される。
本稿では,ドメイン知識を用いて,そのような状態に近接するリスクを定量化するための代替手法について検討する。
論文 参考訳（メタデータ） (2023-02-20T15:24:06Z) - Provable Safe Reinforcement Learning with Binary Feedback [62.257383728544006]
状態, アクションペアの安全性に対するバイナリフィードバックを提供するオフラインオラクルへのアクセスを与えられた場合, 証明可能な安全なRLの問題を考える。
我々は,その設定に対してブラックボックスPAC RLアルゴリズムに与えられた任意のMDP設定に適用可能な,新しいメタアルゴリズムSABREを提案する。
論文 参考訳（メタデータ） (2022-10-26T05:37:51Z) - Safe Reinforcement Learning by Imagining the Near Future [37.0376099401243]
本研究は, 短期的に計画することで, 安全でない状態を回避できるような環境に着目する。
我々は、安全でない軌跡を過度に罰するモデルに基づくアルゴリズムを考案し、そのアルゴリズムが特定の仮定の下で安全でない状態を回避できることを保証する。
実験により, 連続制御タスクにおいて, 安全性違反が少なく, 競争力のある報奨を達成できることが実証された。
論文 参考訳（メタデータ） (2022-02-15T23:28:24Z) - Learn Zero-Constraint-Violation Policy in Model-Free Constrained
Reinforcement Learning [7.138691584246846]
本稿では,安全指向エネルギー関数を用いてポリシー更新を限定するセーフセットアクタクリティカル(SSAC)アルゴリズムを提案する。
安全指数は、潜在的に危険な行動のために急速に増加するように設計されている。
我々は、値関数の学習と同様に、モデルのない方法でエネルギー関数を学習できると主張する。
論文 参考訳（メタデータ） (2021-11-25T07:24:30Z) - Learning Barrier Certificates: Towards Safe Reinforcement Learning with
Zero Training-time Violations [64.39401322671803]
本稿では、トレーニング時安全違反をゼロとした安全RLアルゴリズムの可能性について検討する。
本稿では、バリア証明書、動的モデル、ポリシーを反復的に学習する、CRABS(Co-trained Barrier Certificate for Safe RL)を提案する。
論文 参考訳（メタデータ） (2021-08-04T04:59:05Z) - Learning to Act Safely with Limited Exposure and Almost Sure Certainty [1.0323063834827415]
本稿では,未知の環境における安全な行動を取るための学習を,探索試験を必要とせずに実現できるという考えを提唱する。
本稿では,まず標準的マルチアームバンディット問題に着目し,不確実性の存在下での学習安全性の本質的なトレードオフについて検討する。
論文 参考訳（メタデータ） (2021-05-18T18:05:12Z) - Conservative Safety Critics for Exploration [120.73241848565449]
強化学習(RL)における安全な探索の課題について検討する。
我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。
提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
論文 参考訳（メタデータ） (2020-10-27T17:54:25Z) - Provably Safe PAC-MDP Exploration Using Analogies [87.41775218021044]
安全クリティカルドメインに強化学習を適用する上での課題は、探索と安全性のバランスをとる方法を理解することだ。
我々は,未知のダイナミックスを持つMDPにおいて,確実に安全な探索を行うアルゴリズムであるAnalogous Safe-State Exploration (ASE)を提案する。
提案手法は, PAC-MDP 感覚の準最適政策を安全に学習するために, 状態-作用対間の類似性を利用する。
論文 参考訳（メタデータ） (2020-07-07T15:50:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。