論文の概要: Safe-Support Q-Learning: Learning without Unsafe Exploration
- arxiv url: http://arxiv.org/abs/2604.25379v1
- Date: Tue, 28 Apr 2026 08:43:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-29 16:49:17.781223
- Title: Safe-Support Q-Learning: Learning without Unsafe Exploration
- Title（参考訳）: セーフSupport Q-Learning: 安全でない探索のない学習
- Authors: Yeeun Lim, Narim Jeong, Donghwan Lee,
- Abstract要約: トレーニング中の安全でない状態訪問を解消するQラーニングに基づく安全なRLフレームワークを提案する。
誘導軌道が安全な集合内にあるという仮定の下で、このポリシーは、ほぼ最適性を必要とせず、安全な領域内で十分な探索を可能にする。
実験結果から,提案手法は安定な学習とよく校正された値推定を実現し,既存のベースラインと同等あるいは優れた性能で安全な振る舞いを得られることが示された。
- 参考スコア（独自算出の注目度）: 5.892169642535822
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensuring safety during reinforcement learning (RL) training is critical in real-world applications where unsafe exploration can lead to devastating outcomes. While most safe RL methods mitigate risk through constraints or penalization, they still allow exploration of unsafe states during training. In this work, we adopt a stricter safety requirement that eliminates unsafe state visitation during training. To achieve this goal, we propose a Q-learning-based safe RL framework that leverages a behavior policy supported on a safe set. Under the assumption that the induced trajectories remain within the safe set, this policy enables sufficient exploration within the safe region without requiring near-optimality. We adopt a two-stage framework in which the Q-function and policy are trained separately. Specifically, we introduce a KL-regularized Bellman target that constrains the Q-function to remain close to the behavior policy. We then derive the policy induced from the trained Q-values and propose a parametric policy extraction method to approximate the optimal policy. Our approach provides a unified framework that can be adapted to different action spaces and types of behavior policies. Experimental results demonstrate that the proposed method achieves stable learning and well-calibrated value estimates and yields safer behavior with comparable or better performance than existing baselines.
- Abstract（参考訳）: 強化学習(RL)トレーニング中の安全性の確保は、安全でない探索が破壊的な結果をもたらす現実世界のアプリケーションにおいて重要である。
ほとんどの安全なRL手法は、制約や罰則によってリスクを軽減するが、訓練中も安全でない状態の探索が可能である。
本研究では、トレーニング中の安全でない状態の訪問を排除し、より厳格な安全要件を採用する。
この目的を達成するために、安全なセットでサポートされている行動ポリシーを活用するQラーニングベースの安全なRLフレームワークを提案する。
誘導軌道が安全な集合内にあるという仮定の下で、このポリシーは、ほぼ最適性を必要とせず、安全な領域内で十分な探索を可能にする。
我々は、Q-functionとポリシーを個別に訓練する2段階のフレームワークを採用する。
具体的には、KL規則化されたベルマンターゲットを導入し、Q関数が動作ポリシーに近づき続けることを制約する。
次に、訓練されたQ値から誘導されるポリシーを導出し、最適ポリシーを近似するパラメトリックポリシー抽出法を提案する。
我々のアプローチは、異なるアクション空間や行動ポリシーに適応できる統一されたフレームワークを提供する。
実験結果から,提案手法は安定な学習とよく校正された値推定を実現し,既存のベースラインと同等あるいは優れた性能で安全な振る舞いを得られることが示された。
関連論文リスト
- Probabilistic Shielding for Safe Reinforcement Learning [51.35559820893218]
現実のシナリオでは、強化学習(RL)エージェントはトレーニング時間を含む安全な振る舞いをしなければならない。
我々は,Safe RLの厳密な保証を享受する,スケーラブルな新しい手法を提案する。
当社のアプローチは、トレーニングやテスト時にエージェントが安全であることを保証する厳格な公式な安全保証を提供する。
論文 参考訳（メタデータ） (2025-03-09T17:54:33Z) - Safeguarded Progress in Reinforcement Learning: Safe Bayesian
Exploration for Control Policy Synthesis [63.532413807686524]
本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。
探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-12-18T16:09:43Z) - Safe Reinforcement Learning with Dead-Ends Avoidance and Recovery [13.333197887318168]
安全は、現実的な環境課題に強化学習を適用する上で大きな課題の1つである。
安全かつ安全でない状態を識別する境界を構築する手法を提案する。
我々の手法は、最先端のアルゴリズムよりも安全性違反が少ないタスク性能を持つ。
論文 参考訳（メタデータ） (2023-06-24T12:02:50Z) - Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。
我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文 参考訳（メタデータ） (2022-07-04T11:43:23Z) - SAFER: Data-Efficient and Safe Reinforcement Learning via Skill
Acquisition [59.94644674087599]
安全制約下での複雑な制御タスクにおけるポリシー学習を高速化するアルゴリズムであるSAFEty skill pRiors (SAFER)を提案する。
オフラインデータセットでの原則的なトレーニングを通じて、SAFERは安全なプリミティブスキルの抽出を学ぶ。
推論段階では、SAFERで訓練されたポリシーは、安全なスキルを成功のポリシーに組み込むことを学ぶ。
論文 参考訳（メタデータ） (2022-02-10T05:43:41Z) - Learning Barrier Certificates: Towards Safe Reinforcement Learning with
Zero Training-time Violations [64.39401322671803]
本稿では、トレーニング時安全違反をゼロとした安全RLアルゴリズムの可能性について検討する。
本稿では、バリア証明書、動的モデル、ポリシーを反復的に学習する、CRABS(Co-trained Barrier Certificate for Safe RL)を提案する。
論文 参考訳（メタデータ） (2021-08-04T04:59:05Z) - Safe Reinforcement Learning Using Advantage-Based Intervention [45.79740561754542]
多くのシーケンシャルな決定問題は、安全性の制約に従いながら全報酬を最大化するポリシーを見つけることである。
本稿では,エージェントの安全性を確保するために,アドバンテージ関数に基づく介入機構を用いた新しいアルゴリズムであるSAILRを提案する。
私たちの方法には、トレーニングとデプロイメントの両方において、安全性が強く保証されています。
論文 参考訳（メタデータ） (2021-06-16T20:28:56Z) - Conservative Safety Critics for Exploration [120.73241848565449]
強化学習(RL)における安全な探索の課題について検討する。
我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。
提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
論文 参考訳（メタデータ） (2020-10-27T17:54:25Z) - Safe Reinforcement Learning via Projection on a Safe Set: How to Achieve
Optimality? [0.0]
強化学習(Reinforcement Learning, RL)は、学習方針の閉ループ動作に関する正式な保証の提供に苦慮している。
近年のコントリビューションでは、学習方針による入力のプロジェクションを安全なセットにするという提案がなされている。
本稿は、Q$-learningおよびポリシーグラデーション手法の文脈でこの問題に対処する。
論文 参考訳（メタデータ） (2020-04-02T10:11:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。