論文の概要: SMARLA: A Safety Monitoring Approach for Deep Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2308.02594v2
• Date: Wed, 31 Jan 2024 23:22:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 19:25:11.066346
• Title: SMARLA: A Safety Monitoring Approach for Deep Reinforcement Learning Agents
• Title（参考訳）: smarla: 深層強化学習エージェントのための安全性監視手法
• Authors: Amirhossein Zolfagharian, Manel Abdellatif, Lionel C. Briand, and Ramesh S
• Abstract要約: 本稿では,機械学習によるDRLエージェントの安全監視手法SMARLAを提案する。 SMARLAは、エージェントの内部や訓練データへのアクセスを必要としないため、ブラックボックスとして設計されている。 経験的分析によりSMARLAは偽陽性率の低い正確な違反予測を達成し、早期に安全違反を予測できることが明らかになった。
• 参考スコア（独自算出の注目度）: 7.33319373357049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep reinforcement learning algorithms (DRL) are increasingly being used in safety-critical systems. Ensuring the safety of DRL agents is a critical concern in such contexts. However, relying solely on testing is not sufficient to ensure safety as it does not offer guarantees. Building safety monitors is one solution to alleviate this challenge. This paper proposes SMARLA, a machine learning-based safety monitoring approach designed for DRL agents. For practical reasons, SMARLA is designed to be black-box (as it does not require access to the internals or training data of the agent) and leverages state abstraction to reduce the state space and thus facilitate the learning of safety violation prediction models from agent's states. We validated SMARLA on two well-known RL case studies. Empirical analysis reveals that SMARLA achieves accurate violation prediction with a low false positive rate, and can predict safety violations at an early stage, approximately halfway through the agent's execution before violations occur.
• Abstract（参考訳）: 深層強化学習アルゴリズム(drl)は安全性クリティカルなシステムでますます使われている。 DRLエージェントの安全性を確保することは、このような文脈において重要な関心事である。 しかし、安全性を保証するにはテストのみに頼るだけでは十分ではない。 安全モニターの構築は、この課題を軽減するためのソリューションのひとつだ。 本稿では,DRLエージェントを対象とした機械学習による安全監視手法SMARLAを提案する。 SMARLAはブラックボックス(エージェントの内部や訓練データへのアクセスを必要としないため)として設計されており、状態抽象化を活用して状態空間を減らし、エージェントの状態から安全違反予測モデルの学習を容易にする。 SMARLAを2つの有名なRL症例で検討した。 経験的分析により、SMARLAは偽陽性率の低い正確な違反予測を達成し、違反が起こる前にエージェントの実行のほぼ途中で、早期に安全違反を予測できることが明らかになった。

関連論文リスト

• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)
• Nothing in Excess: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  重大言語モデル(LLM)が悪意のある命令から脅威を守るためには、安全性の調整が不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning [0.0]
  本稿では,RLの安全性を高めるために,異常状態列を利用した安全強化学習(RL)手法を提案する。 自動運転車を含む複数の安全クリティカルな環境の実験において、我々のソリューションアプローチはより安全なポリシーをうまく学習する。
  論文  参考訳（メタデータ） (2024-07-29T10:30:07Z)
• InferAct: Inferring Safe Actions for LLM-Based Agents Through Preemptive Evaluation and Human Feedback [70.54226917774933]
  本稿では,リスク行動が実行される前に,潜在的なエラーを積極的に検出する新しい手法であるInferActを紹介する。 InferActは人間のプロキシとして機能し、安全でないアクションを検出し、ユーザーの介入を警告する。 広く使われている3つのタスクの実験は、InferActの有効性を示している。
  論文  参考訳（メタデータ） (2024-07-16T15:24:44Z)
• From Representational Harms to Quality-of-Service Harms: A Case Study on Llama 2 Safety Safeguards [4.0645651835677565]
  我々は、既に緩和されたバイアスのモデルを評価することにより、安全対策の有効性を検討する。 非有毒なプロンプトのセットを作成し、それをLlamaモデルの評価に用いる。 安全と健康のトレードオフは、サービス品質の害につながる可能性のある特定の人口集団にとってより顕著である。
  論文  参考訳（メタデータ） (2024-03-20T00:22:38Z)
• Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
  本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。 探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T16:09:43Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Safe Deep Reinforcement Learning by Verifying Task-Level Properties [84.64203221849648]
  コスト関数は、安全深層強化学習(DRL)において一般的に用いられる。 このコストは通常、国家空間における政策決定のリスクの定量化が難しいため、指標関数として符号化される。 本稿では,ドメイン知識を用いて,そのような状態に近接するリスクを定量化するための代替手法について検討する。
  論文  参考訳（メタデータ） (2023-02-20T15:24:06Z)
• Safe Reinforcement Learning via Shielding for POMDPs [29.058332307331785]
  安全クリティカルな環境での強化学習(RL)は、破滅的な結果の決定を避けるためにエージェントを必要とする。 我々は,PMDPと最先端の深部RLアルゴリズムの密結合性について検討し,徹底的に評価する。 我々は、シールドを用いたRLエージェントが安全であるだけでなく、期待される報酬のより高い値に収束することを実証的に実証した。
  論文  参考訳（メタデータ） (2022-04-02T03:51:55Z)
• Lyapunov-based uncertainty-aware safe reinforcement learning [0.0]
  InReinforcement Learning (RL)は、様々なシーケンシャルな意思決定タスクに対して最適なポリシーを学ぶ上で、有望なパフォーマンスを示している。 多くの現実世界のRL問題において、主な目的を最適化する以外に、エージェントは一定のレベルの安全性を満たすことが期待されている。 これらの制約に対処するために,リャプノフに基づく不確実性を考慮した安全なRLモデルを提案する。
  論文  参考訳（メタデータ） (2021-07-29T13:08:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。