論文の概要: ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.09486v1
• Date: Sat, 12 Oct 2024 10:46:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 14:04:51.815292
• Title: ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning
• Title（参考訳）: ActSafe: 強化学習のための安全制約付きアクティブ探索
• Authors: Yarden As, Bhavya Sukhija, Lenart Treven, Carmelo Sferrazza, Stelian Coros, Andreas Krause,
• Abstract要約: 本稿では,安全かつ効率的な探索のためのモデルベースRLアルゴリズムであるActSafeを提案する。 本稿では,ActSafeが学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。 さらに,最新のモデルベースRLの進歩に基づくActSafeの実用版を提案する。
• 参考スコア（独自算出の注目度）: 48.536695794883826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) is ubiquitous in the development of modern AI systems. However, state-of-the-art RL agents require extensive, and potentially unsafe, interactions with their environments to learn effectively. These limitations confine RL agents to simulated environments, hindering their ability to learn directly in real-world settings. In this work, we present ActSafe, a novel model-based RL algorithm for safe and efficient exploration. ActSafe learns a well-calibrated probabilistic model of the system and plans optimistically w.r.t. the epistemic uncertainty about the unknown dynamics, while enforcing pessimism w.r.t. the safety constraints. Under regularity assumptions on the constraints and dynamics, we show that ActSafe guarantees safety during learning while also obtaining a near-optimal policy in finite time. In addition, we propose a practical variant of ActSafe that builds on latest model-based RL advancements and enables safe exploration even in high-dimensional settings such as visual control. We empirically show that ActSafe obtains state-of-the-art performance in difficult exploration tasks on standard safe deep RL benchmarks while ensuring safety during learning.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、現代のAIシステムの開発において、ユビキタスである。 しかし、最先端のRLエージェントは、環境との広範囲で潜在的に安全でない相互作用を必要とし、効果的に学習する。 これらの制限はRLエージェントをシミュレーション環境に限定し、現実世界の環境で直接学習する能力を妨げている。 本研究では,安全かつ効率的な探索のための新しいモデルベースRLアルゴリズムであるActSafeを提案する。 ActSafeは、システムのよく校正された確率モデルを学び、未知のダイナミクスに関する疫学的な不確実性を楽観的にw.r.t.に計画し、安全性の制約に悲観主義を強制する。 制約と力学の規則性仮定により,ActSafeは学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。 さらに,最新のモデルベースRLの進歩を基盤として,視覚的制御などの高次元設定においても安全な探索を可能にする,ActSafeの実用版を提案する。 本稿では,ActSafeが,学習中の安全性を確保しつつ,標準安全深度RLベンチマーク上での困難な探索作業において,最先端のパフォーマンスが得られることを実証的に示す。

関連論文リスト

• State-Wise Safe Reinforcement Learning With Pixel Observations [12.338614299403305]
  本稿では,未知の危険領域に対する安全性の制約を効率的にエンコードする,新しい画素オブザービングセーフなRLアルゴリズムを提案する。 共同学習の枠組みとして,画素観測から導出した低次元潜在空間を用いた潜在力学モデルの構築から着目する。 次に、潜時力学の上に潜時バリアのような機能を構築・学習し、同時にポリシー最適化を行い、それによって安全性と総リターンの両方を改善します。
  論文  参考訳（メタデータ） (2023-11-03T20:32:30Z)
• Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark [12.660770759420286]
  本稿では,単一エージェントとマルチエージェントの両方のシナリオにおいて,安全クリティカルなタスクを含む環境スイートであるSafety-Gymnasiumを提案する。 Safe Policy Optimization (SafePO) という,最先端のSafeRLアルゴリズム16種からなるアルゴリズムのライブラリを提供する。
  論文  参考訳（メタデータ） (2023-10-19T08:19:28Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Safe Model-Based Reinforcement Learning with an Uncertainty-Aware Reachability Certificate [6.581362609037603]
  我々は、DRCとそれに対応するシールドポリシーの制約を解決するために、安全な強化学習フレームワークを構築します。 また,シールドポリシを活用しつつ,安全性と高いリターンを同時に達成するためのラインサーチ手法も考案した。
  論文  参考訳（メタデータ） (2022-10-14T06:16:53Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)
• SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition [59.94644674087599]
  安全制約下での複雑な制御タスクにおけるポリシー学習を高速化するアルゴリズムであるSAFEty skill pRiors (SAFER)を提案する。 オフラインデータセットでの原則的なトレーニングを通じて、SAFERは安全なプリミティブスキルの抽出を学ぶ。 推論段階では、SAFERで訓練されたポリシーは、安全なスキルを成功のポリシーに組み込むことを学ぶ。
  論文  参考訳（メタデータ） (2022-02-10T05:43:41Z)
• Learning Barrier Certificates: Towards Safe Reinforcement Learning with Zero Training-time Violations [64.39401322671803]
  本稿では、トレーニング時安全違反をゼロとした安全RLアルゴリズムの可能性について検討する。 本稿では、バリア証明書、動的モデル、ポリシーを反復的に学習する、CRABS(Co-trained Barrier Certificate for Safe RL)を提案する。
  論文  参考訳（メタデータ） (2021-08-04T04:59:05Z)
• Learning to be Safe: Deep RL with a Safety Critic [72.00568333130391]
  安全なRLへの自然な第一のアプローチは、ポリシーの動作に関する制約を手動で指定することである。 我々は,タスクと環境の1つのセットで安全であることを学習し,その学習した直観を用いて将来の行動を制限することを提案する。
  論文  参考訳（メタデータ） (2020-10-27T20:53:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。