論文の概要: State-wise Safe Reinforcement Learning With Pixel Observations

• arxiv url: http://arxiv.org/abs/2311.02227v1
• Date: Fri, 3 Nov 2023 20:32:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 18:43:37.401914
• Title: State-wise Safe Reinforcement Learning With Pixel Observations
• Title（参考訳）: 画素観察による状態対応型安全強化学習
• Authors: Simon Sinong Zhan, Yixuan Wang, Qingyuan Wu, Ruochen Jiao, Chao Huang, Qi Zhu
• Abstract要約: 本稿では,未知の危険領域に対する安全性の制約を効率的にエンコードする,新しい画素オブザービングセーフなRLアルゴリズムを提案する。 安全ジャムベンチマークスイートの実験により,提案手法はトレーニングプロセス全体を通して安全性侵害を著しく低減することを示した。
• 参考スコア（独自算出の注目度）: 12.338614299403305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning(RL) in the context of safe exploration has long grappled with the challenges of the delicate balance between maximizing rewards and minimizing safety violations, the complexities arising from contact-rich or non-smooth environments, and high-dimensional pixel observations. Furthermore, incorporating state-wise safety constraints in the exploration and learning process, where the agent is prohibited from accessing unsafe regions without prior knowledge, adds an additional layer of complexity. In this paper, we propose a novel pixel-observation safe RL algorithm that efficiently encodes state-wise safety constraints with unknown hazard regions through the introduction of a latent barrier function learning mechanism. As a joint learning framework, our approach first involves constructing a latent dynamics model with low-dimensional latent spaces derived from pixel observations. Subsequently, we build and learn a latent barrier function on top of the latent dynamics and conduct policy optimization simultaneously, thereby improving both safety and the total expected return. Experimental evaluations on the safety-gym benchmark suite demonstrate that our proposed method significantly reduces safety violations throughout the training process and demonstrates faster safety convergence compared to existing methods while achieving competitive results in reward return.
• Abstract（参考訳）: 安全探査の文脈における強化学習(rl)は、報酬の最大化と安全侵害の最小化の微妙なバランス、接触の多い環境や非スムース環境から生じる複雑さ、高次元のピクセル観察といった課題に長い間取り組まれてきた。 さらに、エージェントが事前の知識なしで安全でない領域へのアクセスを禁止される探索学習プロセスに、国家側の安全制約を組み込むことで、さらに複雑さの層が増す。 本稿では,潜在障壁関数学習機構を導入して,未知の危険領域に対する状態的安全制約を効率的に符号化する,新しい画素観測安全RLアルゴリズムを提案する。 共同学習フレームワークとして,我々はまず,画素観測から導出した低次元潜在空間を持つ潜在力学モデルを構築する。 その後、潜在ダイナミクスの上に潜在障壁関数を構築し学習し、同時にポリシー最適化を行い、安全性と総期待リターンの両方を改善します。 その結果,提案手法はトレーニングプロセス全体を通じて安全性侵害を著しく低減し,既存の手法と比較して安全性の収束が向上し,競争力のある結果が得られた。

関連論文リスト

• ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning [48.536695794883826]
  本稿では,安全かつ効率的な探索のためのモデルベースRLアルゴリズムであるActSafeを提案する。 本稿では,ActSafeが学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。 さらに,最新のモデルベースRLの進歩に基づくActSafeの実用版を提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:46:02Z)
• Feasibility Consistent Representation Learning for Safe Reinforcement Learning [25.258227763316228]
  FCSRL(Fasibility Consistent Safe Reinforcement Learning)という新しいフレームワークを導入する。 本フレームワークは、表現学習と実現可能性指向の目的を組み合わせることで、安全RLのために生の状態から安全関連情報を識別し、抽出する。 本手法は,従来の表現学習ベースラインよりも安全性に配慮した埋め込みを学習し,優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-20T01:37:21Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
  本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。 探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T16:09:43Z)
• Probabilistic Counterexample Guidance for Safer Reinforcement Learning (Extended Version) [1.279257604152629]
  セーフサーベイは、安全クリティカルなシナリオにおける強化学習(RL)の限界に対処することを目的としている。 外部知識を取り入れたり、センサデータを使って安全でない状態の探索を制限する方法はいくつか存在する。 本稿では,安全要件の反例によるトレーニングを指導することで,安全な探査の課題をターゲットにする。
  論文  参考訳（メタデータ） (2023-07-10T22:28:33Z)
• Approximate Shielding of Atari Agents for Safe Exploration [83.55437924143615]
  遮蔽の概念に基づく安全な探索のための原理的アルゴリズムを提案する。 本稿では,我々の近似遮蔽アルゴリズムが安全違反率を効果的に低減することを示す予備的な結果を示す。
  論文  参考訳（メタデータ） (2023-04-21T16:19:54Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Learning Barrier Certificates: Towards Safe Reinforcement Learning with Zero Training-time Violations [64.39401322671803]
  本稿では、トレーニング時安全違反をゼロとした安全RLアルゴリズムの可能性について検討する。 本稿では、バリア証明書、動的モデル、ポリシーを反復的に学習する、CRABS(Co-trained Barrier Certificate for Safe RL)を提案する。
  論文  参考訳（メタデータ） (2021-08-04T04:59:05Z)
• Context-Aware Safe Reinforcement Learning for Non-Stationary Environments [24.75527261989899]
  現実的なタスクのために強化学習エージェントを展開する場合、安全は重要な問題である。 非定常環境における安全な適応を実現するために,文脈認識型安全強化学習法(CASRL)を提案する。 提案アルゴリズムは,安全性とロバスト性の観点から,既存のベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-01-02T23:52:22Z)
• Verifiably Safe Exploration for End-to-End Reinforcement Learning [17.401496872603943]
  本稿では,視覚的入力によるエンドツーエンドポリシーの形式的安全性制約の実施に向けた最初のアプローチを提案する。 厳密な制約の存在下で安全に探索することの難しさを強調する新しいベンチマークで評価されている。
  論文  参考訳（メタデータ） (2020-07-02T16:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。