論文の概要: Realizable Continuous-Space Shields for Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.02038v1
• Date: Wed, 2 Oct 2024 21:08:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 09:25:11.517364
• Title: Realizable Continuous-Space Shields for Safe Reinforcement Learning
• Title（参考訳）: 安全な強化学習のための実現可能な連続空間シールド
• Authors: Kyungmin Kim, Davide Corsi, Andoni Rodriguez, JB Lanier, Benjami Parellada, Pierre Baldi, Cesar Sanchez, Roy Fox,
• Abstract要約: 深層強化学習(Dep Reinforcement Learning, DRL)は、時には破滅的な障害に対して、追加の保護なしに脆弱なままである。 効果的な解決策の1つは、エージェントのアクションを検証・調整するシールドを使用して、与えられた一連の安全仕様に準拠することである。 本研究では,連続状態および行動空間における安全要件の実現可能性を自動的に保証する最初の遮蔽手法を提案する。
• 参考スコア（独自算出の注目度）: 13.728961635717134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Deep Reinforcement Learning (DRL) has achieved remarkable success across various domains, it remains vulnerable to occasional catastrophic failures without additional safeguards. One effective solution to prevent these failures is to use a shield that validates and adjusts the agent's actions to ensure compliance with a provided set of safety specifications. For real-life robot domains, it is desirable to be able to define such safety specifications over continuous state and action spaces to accurately account for system dynamics and calculate new safe actions that minimally alter the agent's output. In this paper, we propose the first shielding approach to automatically guarantee the realizability of safety requirements for continuous state and action spaces. Realizability is an essential property that confirms the shield will always be able to generate a safe action for any state in the environment. We formally prove that realizability can also be verified with a stateful shield, enabling the incorporation of non-Markovian safety requirements. Finally, we demonstrate the effectiveness of our approach in ensuring safety without compromising policy accuracy by applying it to a navigation problem and a multi-agent particle environment.
• Abstract（参考訳）: 深層強化学習(Dreep Reinforcement Learning, DRL)は、様々な領域で顕著な成功を収めてきたが、時には破滅的な障害に対して、追加の保護なしに脆弱なままである。 これらの障害を防ぐための効果的な解決策の1つは、エージェントのアクションを検証・調整するシールドを使用して、提供された一連の安全仕様に準拠することである。 現実のロボットドメインでは、連続状態やアクション空間に対してそのような安全仕様を定義し、システムのダイナミクスを正確に説明し、エージェントの出力を最小限に変化させる新しい安全なアクションを計算できることが望ましい。 本稿では,連続状態および行動空間における安全要件の実現可能性を自動的に保証する最初の遮蔽手法を提案する。 実現性は、シールドが常に環境中のあらゆる状態に対して安全なアクションを発生できることを確認する重要な特性である。 我々は、実現可能性もステートフルシールドで検証できることを正式に証明し、非マルコフ的安全要件の組み入れを可能にした。 最後に、ナビゲーション問題やマルチエージェント粒子環境に適用することで、政策精度を損なうことなく安全性を確保するためのアプローチの有効性を実証する。

関連論文リスト

• Progressive Safeguards for Safe and Model-Agnostic Reinforcement Learning [5.593642806259113]
  我々は、各タスクが安全を監視し、エージェントに報酬信号を提供するセーフガードと同期するメタラーニングプロセスをモデル化する。 セーフガードの設計は手動だが、高レベルでモデルに依存しないため、エンドツーエンドの安全な学習アプローチがもたらされる。 我々は、MinecraftにインスパイアされたGridworld、VizDoomゲーム環境、LLMファインチューニングアプリケーションでフレームワークを評価した。
  論文  参考訳（メタデータ） (2024-10-31T16:28:33Z)
• Nothing in Excess: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  重大言語モデル(LLM)が悪意のある命令から脅威を守るためには、安全性の調整が不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• Verification-Guided Shielding for Deep Reinforcement Learning [4.418183967223081]
  Deep Reinforcement Learning (DRL)は、現実世界の課題を解決するための効果的なアプローチとして登場した。 正式な安全保証を提供することで、この問題に対処する様々な方法が提案されている。 これら2つの手法を統合することでDRLの信頼性ギャップを橋渡しする新しい手法である検証誘導遮蔽法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T17:44:59Z)
• Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning [57.84059344739159]
  シールドディング」は、強化学習(RL)の安全性を強制する一般的な手法である 安全と遮蔽構造に対処する新しい許容性に基づく枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T18:00:21Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Approximate Shielding of Atari Agents for Safe Exploration [83.55437924143615]
  遮蔽の概念に基づく安全な探索のための原理的アルゴリズムを提案する。 本稿では,我々の近似遮蔽アルゴリズムが安全違反率を効果的に低減することを示す予備的な結果を示す。
  論文  参考訳（メタデータ） (2023-04-21T16:19:54Z)
• ISAACS: Iterative Soft Adversarial Actor-Critic for Safety [0.9217021281095907]
  この研究は、ロボットシステムのための堅牢な安全維持コントローラのスケーラブルな合成を可能にする新しいアプローチを導入する。 安全を追求するフォールバックポリシーは、モデルエラーの最悪のケースの実現を促進するために、敵の「混乱」エージェントと共同で訓練される。 学習した制御ポリシーは本質的に安全性を保証するものではないが、リアルタイムの安全フィルタを構築するために使用される。
  論文  参考訳（メタデータ） (2022-12-06T18:53:34Z)
• Provably Safe Reinforcement Learning via Action Projection using Reachability Analysis and Polynomial Zonotopes [9.861651769846578]
  リーチ回避タスクを解く非線形連続システムの安全シールドを開発する。 我々の手法はアクションプロジェクションと呼ばれ、混合整数最適化によって実装されている。 アクションプロジェクションの他の手法とは対照的に、我々の安全シールドは入力制約や障害物を効率的に処理できる。
  論文  参考訳（メタデータ） (2022-10-19T16:06:12Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。