論文の概要: Safety Representations for Safer Policy Learning

• arxiv url: http://arxiv.org/abs/2502.20341v1
• Date: Thu, 27 Feb 2025 18:10:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:56:27.963543
• Title: Safety Representations for Safer Policy Learning
• Title（参考訳）: 安全政策学習のための安全表現
• Authors: Kaustubh Mani, Vincent Mai, Charlie Gauthier, Annie Chen, Samer Nashed, Liam Paull,
• Abstract要約: 安全クリティカルな応用では、国家空間の探索は破滅的な結果をもたらす可能性がある。 既存の安全な探査手法は、制約を課すことによってこれを緩和しようとする。 状態条件付き安全表現を明示的に学習する手法を提案する。
• 参考スコア（独自算出の注目度）: 12.492942288509878
• License:
• Abstract: Reinforcement learning algorithms typically necessitate extensive exploration of the state space to find optimal policies. However, in safety-critical applications, the risks associated with such exploration can lead to catastrophic consequences. Existing safe exploration methods attempt to mitigate this by imposing constraints, which often result in overly conservative behaviours and inefficient learning. Heavy penalties for early constraint violations can trap agents in local optima, deterring exploration of risky yet high-reward regions of the state space. To address this, we introduce a method that explicitly learns state-conditioned safety representations. By augmenting the state features with these safety representations, our approach naturally encourages safer exploration without being excessively cautious, resulting in more efficient and safer policy learning in safety-critical scenarios. Empirical evaluations across diverse environments show that our method significantly improves task performance while reducing constraint violations during training, underscoring its effectiveness in balancing exploration with safety.
• Abstract（参考訳）: 強化学習アルゴリズムは、通常、最適なポリシーを見つけるために、状態空間を広範囲に探索する必要がある。 しかし、安全クリティカルな応用においては、そのような探索に伴うリスクは破滅的な結果をもたらす可能性がある。 既存の安全な探査手法は、しばしば過度に保守的な行動や非効率な学習をもたらす制約を課すことによってこれを緩和しようとする。 初期の制約違反に対する重い罰則は、地方でエージェントを罠にかけることができ、州空間の危険だが高水準の地域を探索することを妨げている。 そこで本稿では,状態条件付き安全表現を明示的に学習する手法を提案する。 これらの安全表現で州の特徴を増強することにより、我々のアプローチは、過度に注意を払わずに、より安全な探索を自然に促進し、安全クリティカルなシナリオにおけるより効率的で安全な政策学習をもたらす。 各種環境における実証評価の結果,本手法は訓練中の制約違反を低減しつつ,作業性能を著しく向上させ,探索と安全のバランスをとる上での有効性を実証した。

関連論文リスト

• ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning [48.536695794883826]
  本稿では,安全かつ効率的な探索のためのモデルベースRLアルゴリズムであるActSafeを提案する。 本稿では,ActSafeが学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。 さらに,最新のモデルベースRLの進歩に基づくActSafeの実用版を提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:46:02Z)
• Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
  本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。 探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T16:09:43Z)
• State-Wise Safe Reinforcement Learning With Pixel Observations [12.338614299403305]
  本稿では,未知の危険領域に対する安全性の制約を効率的にエンコードする,新しい画素オブザービングセーフなRLアルゴリズムを提案する。 共同学習の枠組みとして,画素観測から導出した低次元潜在空間を用いた潜在力学モデルの構築から着目する。 次に、潜時力学の上に潜時バリアのような機能を構築・学習し、同時にポリシー最適化を行い、それによって安全性と総リターンの両方を改善します。
  論文  参考訳（メタデータ） (2023-11-03T20:32:30Z)
• Probabilistic Counterexample Guidance for Safer Reinforcement Learning (Extended Version) [1.279257604152629]
  セーフサーベイは、安全クリティカルなシナリオにおける強化学習(RL)の限界に対処することを目的としている。 外部知識を取り入れたり、センサデータを使って安全でない状態の探索を制限する方法はいくつか存在する。 本稿では,安全要件の反例によるトレーニングを指導することで,安全な探査の課題をターゲットにする。
  論文  参考訳（メタデータ） (2023-07-10T22:28:33Z)
• Safe Reinforcement Learning with Dead-Ends Avoidance and Recovery [13.333197887318168]
  安全は、現実的な環境課題に強化学習を適用する上で大きな課題の1つである。 安全かつ安全でない状態を識別する境界を構築する手法を提案する。 我々の手法は、最先端のアルゴリズムよりも安全性違反が少ないタスク性能を持つ。
  論文  参考訳（メタデータ） (2023-06-24T12:02:50Z)
• Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments [84.3830478851369]
  本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。 本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-29T20:49:25Z)
• Guiding Safe Exploration with Weakest Preconditions [15.469452301122177]
  安全クリティカルな設定のための強化学習では、エージェントはあらゆる時点において安全制約に従うことが望ましい。 我々はこの安全な探索問題を解決するためにSPICEと呼ばれる新しいニューロシンボリックアプローチを提案する。
  論文  参考訳（メタデータ） (2022-09-28T14:58:41Z)
• Learning Barrier Certificates: Towards Safe Reinforcement Learning with Zero Training-time Violations [64.39401322671803]
  本稿では、トレーニング時安全違反をゼロとした安全RLアルゴリズムの可能性について検討する。 本稿では、バリア証明書、動的モデル、ポリシーを反復的に学習する、CRABS(Co-trained Barrier Certificate for Safe RL)を提案する。
  論文  参考訳（メタデータ） (2021-08-04T04:59:05Z)
• Conservative Safety Critics for Exploration [120.73241848565449]
  強化学習(RL)における安全な探索の課題について検討する。 我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。 提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-27T17:54:25Z)
• Provably Safe PAC-MDP Exploration Using Analogies [87.41775218021044]
  安全クリティカルドメインに強化学習を適用する上での課題は、探索と安全性のバランスをとる方法を理解することだ。 我々は,未知のダイナミックスを持つMDPにおいて,確実に安全な探索を行うアルゴリズムであるAnalogous Safe-State Exploration (ASE)を提案する。 提案手法は, PAC-MDP 感覚の準最適政策を安全に学習するために, 状態-作用対間の類似性を利用する。
  論文  参考訳（メタデータ） (2020-07-07T15:50:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。